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Résumés 

Systèmes Musicaux Interactifs et Création Sonore et Musicale 

Le présent travail de thèse propose un examen de la notion de système 
musical interactif et fait la description d'une approche personnelle pour la 
conception de tels systèmes. 

La première partie expose un état de l'art des nouvelles technologies 
musicales. Certains aspects propres à ces nouvelles technologies sont mis en avant, 
car ils font nécessités, selon moi, dans toute réflexion musicologique actuelle. Il 
apparaît nettement que l'abord de ces aspects devient incontournable pour 
comprendre les enjeux de la création sonore et musicale d'aujourd'hui. 

Dans cette même partie, est présentée une approche basée sur la construction 
d'un réseau d'éléments ou l'artiste est l'acteur principal. L'artiste, face aux 
multiples interactions exploratoires et devant s'approprier une technologie 
prégnante, doit faire une nécessaire critique de ces outils qui excitent son propre 
imaginaire. Je défends que c'est l'attitude expérimentale qui se veut la plus en 
phase avec une utilisation de ces technologies dans le champ artistique. 

Toujours dans la première partie, j'aborde les éléments constitutifs des 
systèmes musicaux interactifs. Pour expliciter l'ensemble des enjeux mentionnés, 
je présente six principaux aspects relatifs aux systèmes musicaux interactifs que je 
considère fondamentaux : la notion de relais informatique, les différents 
paradigmes et classifications des systèmes musicaux interactifs, les différences 
entre l'interactivité et l'interaction, le concept de l'Ultramédia. L'ensemble de ces 
domaines appuie une position personnelle sur la conception des SMI, qui repose 
sur l'idée de réseau hétérogène d'objets qui préconfigure des systèmes complexes 
qui sont plus que la somme de leurs parties. 



II 



La notion de l'Ultramédia proposée par Roberto Barbanti est confrontée aux 
théories musicales du compositeur Horacio Vaggione, qui se fondent sur le concept 
de réseaux d'objets informatiques. Étant bien conscient qu'il s'agit là d'approches 
bien distinctes mais non opposées, je propose une transposition du concept de 
Vaggione à l'ensemble des éléments constituant les systèmes musicaux interactifs. 
Il s'agit du même coup de montrer la portée musicale de la pensée de Vaggione à 
l'application des systèmes musicaux interactifs. 

Plusieurs questions sont soulevées dans cette première partie. Il s'agit de 
tenter de déterminer ce qui est propre aux usages des nouvelles technologies et aux 
systèmes musicaux interactifs. 

Dans la deuxième partie, je présente plusieurs travaux personnels qui ont été 
réalisés à l'aide de systèmes musicaux interactifs. La première partie, plus 
théorique, sert de fondement pour essayer d'en extraire les éléments fondamentaux 
de chaque pièce, et apprécier le potentiel des outils technologiques non exploités 
dans des contextes purement sonores ou musicaux. 

Dans la troisième partie, je présente un projet très particulier autour les 
systèmes musicaux interactifs et du handicap médicalisé, au sein de l'Association 
Provinciale de Paralysie Cérébrale de Tarragone (Espagne). 

Un état de l'art est établi pour préparer aux particularités de ce contexte. Le 
projet consiste en la création et au développement d'applications et d'activités 
interactives pour des personnes atteintes d'un fort et sévère handicap cérébral. À 
partir de mes expériences dans différents contextes artistiques, j'essaye de proposer 
des activités interactives qui se fondent sur l'usage d'une certaine technologie, 
notamment sur la relation de cause à effet, et j'oriente délibérément le propos vers 
une application concrète des notions de la compréhension du geste physique en 
relation au sonore. 
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Chaque partie de la thèse est achevée par une conclusion de circonstance. 
L'ensemble du présent document s'achève par des conclusions successives où une 
conclusion des conclusions est présentée, dans laquelle je fais la proposition d'un 
modèle pour la conception et l'élaboration de systèmes musicaux interactifs. 



Mots clés : nouvelles technologies ; systèmes musicaux interactifs ; interactivité ; 
interaction ; informatique musicale ; temps réel ; Max/MSP ; Pure Data : 
handicap ; paralyse cérébrale ; applications interactives. 
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Interactive Music Systems and Sound and Musical Composition 

This thesis proposes a review of the concept of interactive musical System 
and makes the description of a personal approach for the conception of such 
Systems. 

The first part outlines a state of -the -art of new music technology. Some 
particular aspects of thèse new technologies are highlighted since, in my opinion 
they are essential in any current musicological reflection. It clearly appears that the 
approach of thèse aspects is crucial to understand the challenges of today's 
sonorous and musical création. 

In addition, an approach based on the construction of a network of éléments 
where the artist is the main actor is presented in this same part. The artist, in view 
of the many exploratory interactions and having to appropriate a prevailing 
technology, must make a necessary analysis of thèse tools that excite his own 
imagination. I stand up for the idea that the expérimental attitude is the most 
satisfactory position when using thèse technologies in the artistic field. 

In the first part as well, I tackle the constitutive éléments of interactive 
musical Systems. To clarify ail the mentioned issues, I présent six main aspects of 
interactive musical Systems that I consider fundamental: the concept of informatics 
relay, différent paradigms and classifications of interactive musical Systems, the 
différences between interactivity and interaction, the concept of Ultramédia. Ail 
thèse fields support a personal position concerning the conception of IMS, which is 
based on the idea of an heterogeneous network of objects that préconfigures 
complex Systems that are more than the addition of their parts. 

The notion of Ultramédia proposed by Roberto Barbanti is confronted to 
musical théories of the composer Horacio Vaggione, which are based on the 
concept of networks of informatics objects. Being well aware that we are hère in 
front of very différent but not contradictory approaches, I propose a transposition 
of the concept of Vaggione to ail the éléments that constitute the interactive 
musical Systems. It is also hère question of showing the musical outreach of 
Vaggione's thought to the application of interactive musical Systems. 
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Several questions are raised in this first part. It is question of determining 
what is particular to the usage of new technologies and interactive musical 
Systems. 

In the second part, I présent many personal works that hâve been made using 
interactive musical Systems. The first part, more theoretical, is the basis from 
where I try to extort the basic éléments of each pièce, and appreciate the potential 
of technological tools not used in merely sonorous or musical contexts. 

In the third section, I présent a very particular project about interactive 
musical Systems and médical disability within the Provincial Association of 
Cérébral Palsy of Tarragona (Spain). 

A state of-the-art is established preparing to particularities of this context. 
The project involves the création and development of applications and interactive 
activities intended for people with a strong and severe cérébral disability. From my 
expériences in différent artistic contexts, I try to offer interactive activities that are 
based on the use of a certain technology, especially on the relationship of cause and 
effect, and I deliberately intend the purpose to a concrète application of notions of 
the compréhension of physical gesture related to the sonorous one. 

Each part of the thesis is completed with a conclusion of circumstance. The 
whole document ends by successive conclusions where a conclusion of 
conclusions is presented and where I propose a model for the conception and 
development of interactive musical Systems. 



Keywords: new technologies; interactive musical Systems, interactivity, interaction, 
computer, musical informatics, real time, Max / MSP, Pure Data, disability, 
cérébral paralysis, interactive applications. 
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Introduction 

Dans ma pratique artistique, je conçois la musique dite « contemporaine » comme un code 
ouvert, en raison de sa perméabilité vis à vis des autres pratiques artistiques, ainsi que des 
disciplines cognitives et scientifiques. La musique contemporaine revêt également pour moi un 
sens plus précis : celui d'une musique de création. 

Par « musique de création », j'entends un espace intellectuel dont les limites seraient sans 
cesse repoussées, au sein duquel la recherche d'une liberté absolue - quoique utopique - serait un 
leitmotiv, se substituant aux contraintes qu'impose, par nature, tout projet artistique. 

Cette musique de création est nécessairement une activité personnelle qui relève de 
l'intime. Dans cette démarche, chacun impose, d'une façon plus ou moins consciente, ses propres 
outils de création. C'est donc un travail sur soi-même et par soi-même. 

En admettant qu'il existe une tradition supposée être un fil conducteur entre la musique 
européenne de tradition écrite et la musique dite contemporaine, alors il faut admettre de 
recevoir en héritage ce qui la lie à l'histoire des idées et à la pensée musicale. Ce lien identifie le 
musicien dans une communauté, ou une catégorie d'artistes. Mais si ce fil conducteur ne répond 
qu'aux critères d'un pragmatisme pédagogique ou ne s'attache qu'à faire perdurer un esthétisme 
historique dépassé, il ne serait pas d'une grande utilité dans le cadre de cette recherche, et encore 
moins concernant le propre véhicule de ma pensée musicale. 

Il est donc bien plus intéressant à porter attention sur les questions et les réponses qui 
surviennent à chaque époque ou à chaque contexte historique. 

Ce qui semble une question cruciale est bien celle qui concerne la capacité d'un 
compositeur à se mesurer à sa propre réflexion, de constamment mettre en doute non seulement 
le sens de son engagement artistique, mais aussi ce en quoi sa position serait un choix conscient 
au regard de l'héritage esthétique. 



Liberté artistique ne signifie-t-elle pas de formaliser et de réussir à inventer son propre 
processus créateur ? 

L'atout du compositeur ne réside-t-il pas dans sa propre capacité à rassembler autour de lui 
un ensemble d'éléments à mettre en relation ? Une mise en dialogue permanente entre sensibilité 
et perception devient un élément clef de la démarche musicale. 

Pour appuyer cette idée, une musique contemporaine impliquerait une activité qui fait 
appel à la notion de code ouvert. C'est-à-dire une situation où les idées de tout domaine du 
savoir sont potentiellement catalytiques du processus, ces idées nourrissant et donnant forme au 
processus musical. Il est de la responsabilité de chaque compositeur de construire un espace 
propre de liberté en identifiant ses apports. 

En essayant d'emprunter un chemin doté d'une réflexion personnelle, par l'exploration de 
nombreuses formes sonores, en favorisant une commutation entre des champs expressifs 
hétérogènes, en réutilisant diverses techniques et de nombreuses méthodes pour réaliser le 
processus de composition musicale, en élargissant l'éventail des outils mis à disposition, la 
nature exploratoire et expérimentale s'imposent d'elles-mêmes. 

Dans mon travail, les nouvelles technologies et les Systèmes Musicaux Interactifs (SMI) 
sont devenus non seulement indispensables, mais aussi fondamentaux. Intégrés à tous les 
niveaux du processus créatif, ils articulent grandement, dans mon cas, la manière de penser la 
musique, même si ces technologies sont en fait des systèmes, des outils, des langages nés de la 
recherche et de l'ingénierie. L'art et l'expression contemporains ont été profondément 
transformés depuis l'avènement de l'ordinateur individuel. 

Je me suis aperçu que nombre de travaux en recherche musicale et dans la production 
artistique sont orientés sur l'aspect technique des choses, et moins sur une réflexion strictement 
musicale, sur les problématiques propres à la composition ; par exemple, comment agir et penser 
avec les technologies selon le point de vue de l'artiste ? 

Ce travail de thèse se construit à partir des regards multiples du compositeur, du créateur 
sonore et du chercheur. Par conséquent, les systèmes musicaux interactifs étant un 
développement des nouvelles technologies, la création sonore et musicale sont au cœur du sujet 
de cette thèse. 



La question qui se pose est donc la suivante : comment concevoir des systèmes musicaux 
interactifs ? 

Il apparaît nettement que l'artiste sonore d'aujourd'hui s'adapte car il entretient de nouveaux 
savoir-faire et développe sa propre expérience dans l'interaction de nombreux contextes d'action. 

C'est au croisement de nombreux champs de références, qui peuvent appartenir à un 
domaine académique quelconque, mais aussi au domaine de l'entreprise, ou encore à celui de la 
recherche pure, que l'artiste puise inspiration, ressource et intuition. 

Les pratiques musicales qui allient tradition artistique et outils actuels, quelles que soient 
leurs finalités d'origine, en sont un exemple parlant. C'est le cas de l'association de l'écriture 
conventionnelle et de partition informatiques nouvelles. 

Pour comprendre l'enjeu de la conception de systèmes musicaux interactifs, il est 
indispensable d'y inclure la condition d'une relation de nature adaptative. 

En effet, toute relation doit être adaptée aux situations diverses qui se présentent et pour 
lesquelles sont imposées certaines contraintes afin de les dépasser. 

Deux points sont importants. D'abord une réflexion personnelle qui se focalise sur mon 
travail sur les systèmes musicaux interactifs, puis une prise de conscience plus générale qui fait 
état de l'existence de ces instruments. 

Ces points conduisent à présenter deux approches distinctes. Ces deux approches sont 
complémentaires et sont en permanent transfert de connaissances. 

Ce sont surtout deux niveaux de réflexion qui articulent et donnent forme à la présente thèse, 
elle-même s'articule en trois parties. Ces différentes parties abordent réflexion théorique et 
pratique artistique. Pour illustrer le propos, je distingue la pratique artistique de ma propre façon 
d'appréhender les nouvelles technologies, ce qui soulève le point très important du retour 
théorique sur la musique. De même, la conceptualisation et le questionnement théorique 
favorisent une mise à distance par rapport à une création qui serait trop figée dans des certitudes 
et des habitudes. 



- Première partie : 

La première partie est divisée en deux chapitres, et présente un aspect théorique. Le premier 
chapitre est dédié aux nouvelles technologies et le second chapitre est consacré aux SMI. 

Au fur et à mesure de ma pratique artistique, la réalité d'une prégnance des nouvelles 
technologies dans mes travaux s'impose à moi. Ainsi, les SMI et leurs éléments constitutifs, en 
tant que spécificités technologiques, sont exposés et traités largement pour en dévoiler toutes les 
particularités qui permettent de penser la création avec de tels outils. 



- Deuxième partie : 

La deuxième partie se présente en un seul chapitre faisant état de la création musicale et 
sonore. 

Il présente mon approche de l'expression artistique dans ce domaine et tente de convaincre 
qu'il s'agit bien d'une démarche singulière. 

Des pièces sonores et musicales très diverses y sont présentées, ainsi que des installations 
sonores. 

Alors que la première partie se bornait à la conceptualisation des nouvelles technologies et 
des aspects les plus relevants des SMI, la deuxième partie aborde toujours les questions relatives 
à la nature des SMI mais en se référant à mes propres travaux de création sonore. 

Dans ces deux parties, les concepts d'interaction et d'interactif apparaissent de manière 
récurrente. Vincent Mabillot, dans sa thèse de doctorat intitulée « Les Mises en Scène de 
l'Interactivité » , dit à propos de celle-ci: 

« L'interactivité regroupe un ensemble de processus qui sont dépendants les uns des autres, 
entre au moins deux êtres d'un système. Cette interrelation entre les processus est plus ou moins 
complexe. La complexité de l'interactivité dépend de la capacité de chaque être à générer des 
réponses plus ou moins contextuelles, adaptée ou intelligente... (1) » 



Vincent Mabillot différencie ainsi quatre niveaux d'interactivité, définis à partir des théories 
sur l'interactivité de Jean-Baptiste Touchard et de Jean-Pierre Balpe : 

« Touchard évoque la possibilité de mesurer une valeur ZpS (nombre de zaps par secondes) 
pour évaluer l'interactivité. Cela permettrait de comparer l'interactivité de différents systèmes. Il 
compare ainsi un ascenseur, une télévision, un flipper et un jeu vidéo. Il propose aussi de 
mesurer l'interactivité au débit d'information transitant dans les deux sens d'une interface. Ces 
concepts de l'évaluation sont sémantiquement très pauvres. Ils peuvent certainement intéresser 
les sciences de l'ingénierie qui doivent concevoir des systèmes suffisamment robustes ou capable 
d'optimiser le système technique de traitement quantitatif de l'information. Mais du point de vue 
de l'évaluation méthodologique de l'interactivité, ces approches n'ont pas le moindre intérêt. 
Elles considèrent l'interactivité comme une action de choix ou un phénomène de double 
transmission ». 

Jean-Pierre Balpe propose d'identifier deux niveaux d'interactivité. L'interactivité hétéronome, terme 
qu'il emprunte à Philippe Queau, et l'interactivité autonome. Dans le premier cas, il s'agit d'un système 
logiciel dont les réponses sont pré-programmées. Dans le second cas, le logiciel est intelligent et élabore 
une réponse originale, en interprétant la demande de l'utilisateur (2). 

Vincent Mabillot propose une gradation entre quatre niveaux d'interactivité : au niveau zéro, 
les actions des composants du système sont indépendantes les unes des autres, alors que le 
niveau quatre se caractérise par un système d'interactions ouvertes et évolutives. 

C'est dans ce cadre conceptuel que je développerai plus tard la notion de systèmes 
interactifs, en établissant une distinction entre systèmes interactifs et systèmes avec interaction. 
Cette distinction se fonde sur le type de communication inhérent à chacun des deux systèmes : 
unidirectionnel ou bidirectionnel. 

Ces projets artistiques font suite, pour la plupart, à une commande ou à un projet 
collaboratif, ou encore ils sont l'aboutissement d'une recherche personnelle. D'autre part, ces 
travaux se traduisent dans un contexte académique ou plus expérimental. 



1 . MABILLOT Vincent. Thèse de doctorat : « Les Mises en Scène de l'Interactivité ». Université Lumière Lyon 2. 2000. 

2. BALPE Jean-Pierre. Techniques avancées pour l'hypertexte, Hermès, Paris, 1996, 288p. 



Les différentes réalisations musicales ont permis d'aborder - notamment dans la première 
partie de la thèse - des questions essentielles et des problématiques fondatrices de la présente 
recherche. 

Il s'agit d'exposer des travaux musicaux mis en valeur au travers de pièces qui offrent un 
langage sonore singulier. Elles prétendent faire état d'une musicalité propre, tout en cherchant à 
mettre en évidence les relations et les contraintes qui existent entre création et SMI. 



Dans la deuxième partie je propose aussi la notion de partition du SMI. La partition d'un 
SMI devient l'ensemble des possibilités d'articulations sonores et musicales caractérisant une 
pièce, et la rendant, par la même, identifiable. L'accès à cette partition se fait grâce à l'interface 
graphique du SMI. 



-Troisième partie : 

La troisième partie est constituée de deux chapitres, le premier étant dédié au SMI et au 
handicap, le deuxième chapitre est dédié au projet EMSTI (Environnement Multi sensoriel 
Thérapeutique Interactif). 

Cette troisième partie fait davantage référence à un contexte médical et social, puisqu'il 
s'agit d'une expérimentation liée à des questions thérapeutiques, éducatives et ludiques. 

Le projet EMSTI tient lieu d'une rencontre avec des personnes à fort handicap, pour 
lesquelles des activités ludiques et interactives ont été réalisées. 

L'idée consiste promouvoir, envers ce public particulier, des sensations nouvelles ; les aider 
à éprouver des phénomènes liés à l'interaction, dans le cadre d'une action de sensibilisation, afin 
qu'elles soient capables de comprendre des relations interactives essentielles. 



En tant que tentative de dialogue entre science, technologie et art, cette approche relève de 
mon propre axe de réflexion au sujet des possibilités de création grâce aux phénomènes de 
l'interaction, comme source d'inspiration et faisant appel à la notion d'interdisciplinarité. 



La deuxième et la troisième partie ont trois points communs: 

. Ils utilisent des SMI. 

. Ils ont une même trame quant au concept et aux questions évoquées et exposées dans la 
première partie de la thèse. 

. Alors que ces champs montrent différents niveaux de complexité et de développement, il aura 
toujours été question de conserver, et ce pour l'ensemble des champs évoqués, une approche et 
une réflexion d'ordre artistique. 

Par conséquent, il semble logique de présenter ces champs de recherche selon un format qui 
fait état de parties séparées dans le travail de thèse mais qui dans le même temps favorise les 
relations et les influences qui les caractérises. 

Ainsi, la partie qui traite de mes créations musicales témoigne d'une expérience, d'un savoir- 
faire, d'une recherche dans le domaine des SMI, qui trouveront une application concrète au sein 
du projet EMSTI. 

La partie qui traite du projet EMSTI, quant à elle, met en exergue une orientation 
particulière de ma propre réflexion et une façon de créer des SMI destinés à tout contexte qui 
serait purement artistique (Figure 1.1). 

Préalablement au bilan des trois parties, la thèse propose finalement un modèle d'analyse 
des systèmes musicaux interactifs. Celui-ci peut être utilisé par tout artiste sonore, compositeur 
ou musicologue, désireux de porter sa réflexion au-delà d'une simple utilisation générique, et 
souhaitant améliorer ainsi la conception de ses propres outils interactifs. 



Éléments constitutifs 
des SMI 



Proie,s 4 ^ Projet EMSTI avec 

artistiques ^" ~r des handicapés 



Figure 1.1: Le schéma ci-dessus illustre de quelle façon les trois parties de cette thèse sont 

mises en relation. 



Le schéma précédent résume graphiquement l'interrelation existant entre les trois parties de 
cette thèse et nous montre ainsi l'interdépendance existant entre ces trois éléments, qui 
articuleront ma recherche dans le champ des SMI. 

Les projets artistiques, d'ordre personnel, vont servir à traiter certains thèmes 
fondamentaux en ce qui concerne la conception des SMI. À leur tour, ils permettront le 
développement du projet EMSTI à partir d'un savoir-faire. 

Le projet EMSTI repose sur les possibilités que nous offrent les SMI ; possibilités déduites 
de la théorie sur les SMI. Certains aspects techniques et artistiques de ce projet, ainsi que les 
activités qui y sont proposées, seront, quant à eux, davantage développés au cours de la seconde 
partie de la thèse, traitant des recherches personnelles. 

La théorie nous sert à revenir sur ce qui a été réalisé jusqu'à présent dans le domaine des 
SMI et à proposer, à partir de là, de nouveaux thèmes et questions. 



Première partie 
Nouvelles technologies musicales et Systèmes Musicaux Interactifs 



Chapitre 1 

Nouvelles technologies musicales 

Résumé du chapitre : 

Ce premier chapitre expose de quelle façon le progrès technologique en général a provoqué 
une situation nouvelle, à savoir que les nouvelles technologies sont désormais une réalité qui met 
en relation les sciences, les nouvelles technologies et les arts. 

Cette relation à été largement évoqué et explicité par des compositeurs qui ont trouvé avec 
les sciences et les technologies une source d'inspiration et une voie personnelle de travail. 

Ainsi ces nouvelles technologies sont la conséquence et une nécessité de notre temps. 

Elles contribuent immanquablement à la création artistique. 

Dans ce premier chapitre, je défends la thèse que ces technologies sont devenues 
aujourd'hui incontournables pour l'artiste. Dans le domaine musical, on notera, par exemple, que 
de plus en plus de conservatoires et d'universités enseignant la musique offrent une formation en 
nouvelles technologies musicales. C'est dans cet esprit que des centres de recherche musicale ont 
été créés, à l'image de l'IRCAM (Institut de recherche et coordination acoustique/musique) qui a 
ouvert ses portes en 1974 à l'initiative du compositeur et chef d'orchestre Pierre Boulez. 

Ces technologies sont des outils qui modifient notre approche à la création sonore et qui 
questionnent le créateur sur le fait artistique. Ainsi les questions fondamentales, étudiées au 
premier chapitre, sont les suivantes : est-il possible de favoriser l'émergence d'une nouvelle 
musique avec les nouvelles technologies ? Les nouvelles technologies apparaissent-elles comme 
un réseau hétérogène qui induit une interaction ? 
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1.1 Remarques préalables 

1.1.1 Le progrès technologique 

Le progrès technologique est l'un des divers éléments qui caractérisent l'époque des 
grandes transformations que nous vivons. Thomas Ferenczi énumère l'informatique et la biologie 
comme les bornes principales de cette transformation, caractéristiques du monde contemporain, 
alors même que ces bornes s'inscrivent dans un contexte de mondialisation. 

Ferenczi constate que : 

Pourtant ces nouvelles découvertes suscitent autant d'inquiétude que d'espoirs. Nombreux 
sont ceux qui s'interrogent aujourd'hui avec angoisse sur l'avenir que nos préparent les 
technosciences. Ils estiment que l'expansion planétaire de la communication, loin de favoriser la 
solidarité, tend à isoler les individus au sein de la société du spectacle ou à les soumettre à la 
surveillance d'un Brother omniprésent (1). 

L'affirmation objective sur la réalité historique et technologique soutient que le progrès de 
l'informatique et des nouvelles technologies le long des trente dernières années a été 
spectaculaire et a une répercussion incontestable sur les arts et la vie contemporaine. 

Des applications interactives apparaissent régulièrement, de nouveaux contrôleurs gestuels 
se développent et la miniaturisation des appareils technologiques est proportionnelle à leur 
puissance croissante et à leur capacité grandissante. Les nouvelles technologies sont présentes 
pratiquement dans tous les aspects de notre vie. Par exemple, nous les trouvons dans la gestion et 
l'automatisation de nos maisons qui deviennent intelligentes, elles apparaissent sous forme 
d'applications ludiques, ont tendance à remplir notre temps libre et à répondre à notre désir de 
consommation. 

Aussi, ces technologies ayant investi les bureaux et les usines, elles apparaissent désormais 
indispensables en tant qu'outils éducatifs et pédagogiques, pouvant aider à améliorer la qualité 
de vie des personnes handicapées. Ce sujet particulier est d'ailleurs traité dans la troisième partie 
de cette thèse. 



1. FERENCZI Thomas. Où nous emportent les techniques ?. D'ADAMO Daniel, GERVASONI Pierre, HUSSON Julien, FERENCZI Thomas. 
L 'art au risque de la technique. Editions Complex, Belgique, 200 1 , p. 9-10. 
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Les nouvelles technologies envahissent tout environnement en créant une frontière fine 
entre réalité et fiction, entre réel et virtuel. 

Lorsqu'on évoque les nouvelles technologies musicales, on fait en quelque sorte référence 
également aux technologies postérieures aux années quatre-vingt. L'expansion généralisée de la 
puissance de l'ordinateur individuel, à partir de cette période, a conditionné l'essor des 
possibilités musicales informatiques, objets de cette recherche, ainsi que leur croissance véloce. 

Ceci étant, il est utile de rappeler que l'ère du numérique a débuté avec l'apparition des 
premiers ordinateurs dans les années cinquante ; la musique assistée par ordinateur remontant, 
quant à elle, aux années 1955-1956 avec le fameux quatuor à cordes dit « Illiac Suite », élaboré 
par Lejaren A. Hiller et Léonard M. Isaacson à l'université de l'Illinois aux États-Unis (2). 

Jean-Michel Couturier rappelle dans sa thèse : 

« En 1957, Max Mathews réalisa le premier enregistrement numérique et la première 
synthèse numérique de sons sur un ordinateur IBM 704, à l'aide du tout premier programme de 
synthèse sur ordinateur, MUSIC I, qu 'il avait lui-même développé. Les programmes qu 'il 
développa ensuite, de Music III (1959) à Music V (1967), fonctionnent de façon modulaire : 
l'utilisateur est libre d'utiliser les modules de production et de transformation de son choix et de 
les assembler à loisir, bien avant les premiers synthétiseurs modulaires » (3). 

Le résultat sonore n'était pas obtenu en temps réel, car les technologies de l'époque ne le 
permettaient pas. 



2. SUPPER Martin. Mûsica electronïca y mùsica con ordenador. Alianza Editorial, S.A., Madrid, 2004. p. 93. 

3. COUTURIER Jean-Michel. Thèse, Utilisation avancée d'interfaces graphiques dans le contrôle gestuel de processus sonores? Pour 
l'obtention du Doctorat de l'Université Aix-Marseille II Spécialité ATIAM. Présentée et soutenue publiquement le Mardi 7 décembre 2004. p. 16. 
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1.1.2 Relations entre sciences, nouvelles technologies et arts 

Les instruments traditionnels de musique sont le résultat de l'évolution d'une technologie 
forgée le long des siècles, de l'union et de la coopération entre art, science et savoir-faire 
techniques de l'artisanat. De nos jours, cette coopération s'avère nécessaire et est plus productive 
que jamais. Comme Xavier Berenguer (4) le fait remarquer, art et science n'ont pas toujours 
partagé les mêmes intérêts : 

Charles Percy Snow, en 1964, dans son essai Les deux cultures, décrivait deux 
communautés bien différenciées - celle-là des scientifiques, d'un côté, et celle-là des artistes et 
des intellectuels "littéraires", par l'autre - caractérisées pour avoir perdu ses racines communes, 
ainsi que la capacité de communiquer entre eux. 

Selon Snow, l'origine de ce divorce réside dans le paradigme scientifique de l'univers 
mécanique, qui a assis l'interrogation humaine sur la base de la raison et du réductionnisme, 
celle-là est, de la méthode scientifique. Ainsi, pendant que le scientifique joue avec la réalité et 
la logique, à l'artiste il lui concerne l'imagination et l'émotion. L'art enquête sur le monde 
subjectif; la science poursuit pour sa part le monde objectif et la méthode rationnelle. 

Eh bien, des décennies après le diagnostic de Snow, des raisons, des expériences, des 
volontés existent et jusqu'aux industries qui montrent comment cette polarité d'attitudes et de 
domaines de comportement s'éboule. 

En premier lieu, la propre science ne peut pas faire abstraction des considérations 
morales, sociales, etc.. de ses découvertes, comme il est remarqué sur des champs comme la 
recherche nucléaire, la biologie moléculaire, l'ingénierie génétique... Mais, déplus, dans des cas 
de plus en plus fréquents, dans la propre science, elle apparaît, la nécessité d'assouplir la 
rationalité sacrée. 



4. Traduction de Joan Bagés : BERENGUER Xavier. Arte y tecnologia: Una frontera que se desmorona.. UOC, Barcelona, 2002. 
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Berenguer relate de façon intéressante la manière dont les relations de rapprochement et 
d'éloignement qui ont existé tout au long de l'histoire entre art et science ont varié. Bien que la 
tendance se soit amorcée dès la fin de la Renaissance, c'est à partir de Newton et du modèle 
matérialiste de l'univers, puis des conséquences d'une vision mécaniciste du monde dont les 
méthodes durant la révolution industrielle ont été déterminantes, que le divorce entre art et 
science s'est affirmé. Cette divergence allant en augmentant, jusqu'à devenir de plus en plus 
ténue de nos jours, l'ordinateur ne serait, selon Berenguer, qu'une prothèse de la pensée. 

Les nouvelles technologies musicales sont issues principalement de la recherche en 
technologie, menée au sein de centres de recherche et d'universités. L'artiste peut néanmoins 
s'approprier des modèles conceptuels ainsi que de certaines applications concrètes issues du fruit 
de ces recherches. 

Non seulement l'artiste a la possibilité de s'approprier certains résultats de la recherche ou 
de l'ingénierie musicale, mais il peut aussi, notamment dans le cadre de programmes de 
coopération qui ont lieu dans des centres spécialisés, être impliqué dans une recherche en 
musique qui fait appel à ses compétences, dont les modalités sont à mi-chemin entre création 
artistique et recherche scientifique et technologique (5). 



1.1.3 Relations entre compositeurs, sciences et nouvelles technologies 

Il est intéressant de noter que certains compositeurs, dont le travail entretenait des relations 
avec la science, ont imaginé des mondes sonores impliquant des applications technologiques, qui 
allaient être postérieurement développées sur le plan technique. Karlheinz Stockhausen en est un 
exemple frappant. Dans l'article intitulé «Comment le temps passe», dont la publication date de 
1955, il imagine un nouvel instrument, à l'époque analogique, qui n'est autre que l'actuel 
synthétiseur. 



5. L'Institut Audiovisuel de l'Université Pompeu Fabra à Barcelone en est un exemple. Cette université dispose d'un centre de recherche, le 
Musïc Technology Group ( http:7mtie.upf.edu/ ). Le groupe de recherche rattaché à ce laboratoire de recherche en technologies musicales est en 
permanente interaction avec la création artistique issue de la Fondation Phonos de Barcelone et de l'Ecole Supérieur de Musique de Catalogne. 

14 



Ce nouvel instrument permettrait, selon lui : 

La contraction et l'expansion des échelles, pas seulement des échelles de fréquences mais 
aussi celles des durées et dynamiques (6). 

Cela démontre sans aucun doute que les nécessités des compositeurs appellent une réponse 
dans le domaine scientifique et technologique. Ont-ils besoin d'une référence liée au domaine de 
la recherche ? Le compositeur Daniel D'Adamo semble aller dans ce sens : 

Ce que je veux souligner c'est que, le plus souvent, les développements technologiques en 
musique ont correspondu à une réflexion préalable du compositeur (...). J'ajouterais seulement 
que, comme nous l'avons vu, le transfert de modèles issus de la réflexion musicale s'est fait aussi 
dans le sens de l'art vers la science (7). 

Le compositeur Iannis Xenakis est un exemple historique du développement en 
informatique musicale. C'est au Centre d'Etudes de Mathématique et Automatique Musicales 
(CEMAMu) que Xenakis a inventé un remarquable outil de composition musicale assisté par 
ordinateur, l'UPIC (8). 

Dans mes créations personnelles, j'essaie d'incorporer les nouvelles technologies comme 
un élément qui fait partie d'un système constitué de différents éléments nécessaires pour la 
création d'une oeuvre. C'est la pratique artistique qui me permet de trouver les réponses aux 
questions suivantes: 

- À quoi peuvent servir les nouvelles technologies musicales ? 

- Qu'apportent-elles réellement à la création sonore et musicale ? 

- Quelles limitations imposent-elles ? 



6. STOCKHAUSEN Karlheinz. Comment le temps passe. 1955. 



7. FERENCZI Thomas. Où nous emportent les techniques ? D'ADAMO Daniel, GERVASONI Pierre, HUSSON Julien, FERENCZI Thomas. 
L'art au risque de la technique. Editions Complex, Belgique, 2001, p. 23. 

8. UPIC : ROAD Curtis. The Computer Music Tutorial. The MIT Press, Cambridge, Massachusetts, Londres, Royaume-Uni, 1 996. p. 33 1 . 



15 



1.2 Conséquence et nécessité de notre temps 

L'informatique et les nouvelles technologies appliquées à la musique ont bouleversé la 
composition musicale et la création sonore, en particulier sur les dernières décennies 
(approximativement de 1970 à nos jours). En conséquence, certaines pratiques musicales ont 
drastiquement évolué, changé ou modifié la façon de penser la musique d'aujourd'hui. Elles 
induisent des comportements et des attitudes musicales nouvelles, par exemple, dans une 
situation de concert, comme nous le rappelle Hugues Vinet: 

Les progrès de l'électronique numérique ont permis la mise au point de systèmes de 
traitement sonore en temps réel, utilisé notamment en concert pour la réalisation de dispositifs 
interactifs associant instruments et sons produits par ordinateur (8). 

L'avènement des nouvelles technologies appliquées à la musique ne peut s'expliquer que 
par la convergence de plusieurs facteurs. Il est donc extrêmement réducteur d'analyser la 
mutation des technologies musicales au moyen de la seule évolution du progrès technologique. 
Martin Laliberté fait remarquer qu'il y a un apport des nouvelles technologies musicales par 
elles-mêmes: 

La musique électroacoustique, l'ordinateur musical, mais aussi l'orgue électrique, le 
synthétiseur analogique ou la guitare électrique ont eu un impact sur la vie musicale parce qu'ils 
satisfont des besoins profonds (9). 

Selon Laliberté, les crises sociales et culturelles des sociétés occidentales aux XIXe et XXe 
siècles sont même à l'origine de nouvelles nécessités expressives. 

Le questionnement sur la fin des arts et de leur remise en question, qui s'est exprimée en 
musique à propos de l'abolition du système tonal et de ses hiérarchies harmoniques et 
rythmiques, de l'émergence et de l'élargissement de la notion de timbre, ont nécessairement 
conduit a une forme de pensée nouvelle. 



8. VINET Hugues. Introduction. VINET Hugues, DELALANDE François. Interfaces homme-machine et création musicale. Hermès Science 
Publications, Paris, 1999, p. 9. 

9. LALIBERTÉ Martin. Aux origines des nouvelles technologies musicales : Virtuosités et archétypes. BARBANTI Roberto, LYNCH Enrique, 
PARDO Carmen, SOLOMOS Makis. Musiques, Arts, Technologies : pour une approche critique. L'Harmattan, Paris, 2004, p. 348. 
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La libéralisation du studio et du spectacle vivant, la réduction et l'ergonomie des nouveaux 
outils, ont fortement contribué à l'émergence des nouvelles technologies musicales. 

Leur apparition révèle à quel point la convergence de facteurs scientifiques, 

technologiques, sociaux, philosophiques et musicaux semble caractéristique de notre époque. 

Laliberté fait remarquer que diverses conditions sont à l'origine de l'existence de ces 
technologies musicales (Figure 1.1) : 



Crises sociopolitlques occidentales : 

méfiance envers les institutions et politiques officielles 
perte de confiance dans les valeurs traditionnelles 
contre-exemples des cultures extra-européennes 

Crises artistiques : 

r méfiance envers les arts officiels 
• perte de confiance dans les valeurs non-occidentales 
■ contre-exemples des cultures non occidentales 

Crises musicales : 

- agonie des musiques tonales et perte de sens de leurs hiérarchies 

■ usure du romantisme musical 

■ usure de l'orchestre 

■ émergence irrépressible des timbres et rythmes 

■ décadence du modèle vocal et émergence du modèle percussif 

■ éclatement-ramification de la virtuosité 

Évolutions techniques : 

- développement de la radiophonie 

- développement de la téléphonie 

- développement de l'électronique 
- développement de l'informatique 

incessantes inventions d'outils musicaux 

Évolutions scientifiques : 

- développements de l'acoustique 
■ théorie de l'information 

- cybernétique et automatique 

- linguistique et phonologie 

- psychologie et sciences cognitives 



Musiques électriques 



Figure 1.1: Schéma de Laliberté sur des conditions de l'existence des nouvelles technologies 

musicales (10). 



10. LALIBERTÉ Martin. Aux origines des nouvelles technologies musicales. Virtuosités et archétypes. BARBANTI, Roberto, LYNCH Enrique, 
PARDO Carmen, SOLOMOS Makis. Musiques, Arts, Technologies : pour une approche critique. L'Harmattan, Paris, 2004, p. 348. 
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1.2.1 Contribution à la création artistique 

L'histoire récente de la musique produite avec les nouvelles technologies a aujourd'hui un 
passé à assumer, car de nombreuses pièces produites avec des outils numériques et informatiques 
ont d'ores et déjà été écrites. À chaque avancée technologique correspond une apparition 
d'oeuvres, dont le matériau aura été généré à l'aide de nouveaux algorithmes de calcul de 
paramètres musicaux ou de traitement du signal. 

Il est remarquable de constater que persiste en général une sonorité qui devient connotée en 
raison d'une utilisation générique de certains environnements logiciels. C'est le cas des outils 
comme les GRM-Tools (11) ou encore certains logiciels de traitement du son édité par l'IRCAM 
(12). Une production électroacoustique académique et les développements en musique 
électronique qui poussent à faire la publicité d'une certaine production commerciale est une 
tendance inévitable. Cela justifie une position radicalement autre de la part de l'artiste. 

De plus, l'étape d'admiration phénoménologique est sans doute déjà révolue. En effet, une 
simple compréhension des outils technologiques, voire dans le meilleur des cas leur maîtrise, a 
été dans bien des cas suffisant à obtenir le statut d'œuvre artistique alors qu'il ne s'agissait trop 
souvent que d'un étal d'effet plus ou moins réussit, nonobstant un dramatique vide musical. 

Ceci a été possible en raison de l'absence d'une formalisation d'une pensée musicale réelle 
au bénéfice d'une maîtrise dans le domaine des techniques de traitement numérique du son. Et là 
encore, et il ne fut trop souvent question que d'une application des fonctions préétablies du 
logiciel. Ces éléments critiques sont posés par Ricardo Mandolini : 

(...) la nouveauté, la surprise et tous les autres composants de l'esthétique de la modernité 
doivent, à moins avis, être revus à la baisse; ils en fonctionnent plus comme le véritable 
combustible de la création électroacoustique (13). 



1 1 . GRM-Tools: Plugins de traitement audionumérique conçus et réalisés par l'Ina-GRM. ( http://www.inagrm.com/grmtools). 

12. IRCAM. Institut de Recherche et Coordination Acoustique/Musique, ( http://www.ircam.fr/). 

13. MANDOLINI Ricardo. L'idéologie numérique - vers une uniformité d'expression ?. BARBANTI Roberto, LYNCH Enrique, PARDO 
Carmen, S0L0M0S Makis. Musiques, Arts, Technologies: pour une approche critique. L'Harmattan, Paris, 2004, p. 183. 
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Il apparaît essentiel que l'ensemble de ces outils, qu'il s'agisse de logiciels commerciaux, 
d'environnements plus spécifiques au domaine de la musique électroacoustique, ou de logiciels 
de recherche en musique, ont vocation à être intégrés dans le travail du compositeur et plus 
encore, ils doivent être pris, pour leur potentialités, dans la pensée musicale globale de l'acte de 
création sonore. 

Je pense que les nouvelles technologies musicales ont précisément favorisé l'émergence 
d'une variété grandissante de styles et une diversité esthétique. 

De plus, cette démocratisation produit un rapprochement entre le compositeur de musique 
électroacoustique académique et les faiseurs de musique populaire dites musiques electro. Les 
techniques ont été acquises avec un savoir-faire qui a la même origine, dans les deux 
communautés musicales. 

Les producteurs de musique electro, les animateurs (dise-jockeys) dominent parfaitement 
les techniques de montage, la création de séquences sonores, tout comme les musiciens plus 
académiques. 

Ainsi, alors que l'accès aux nouvelles technologies musicales est ouvert à tous, en quoi le 
compositeur de nos jours participe-t-il à une supposée culture académique ? 

Il apparaît qu'entre science, technologie et art, une zone d'empiétement, de convergence, 
est à l'œuvre. 

Les nouvelles technologies musicales sont soumises à une multiplicité d'approches de 
travail distinctes qui est la conséquence de besoins divers et d'une variation des attitudes de la 
part des créateurs sonores. 

Les intérêts propres et les méthodes de travail et autres techniques procédurales liées à 
l'expérience font que les nouvelles technologies musicales sont différemment utilisées par 
chaque compositeur. 

Pour Vinet pointe un danger d'uniformisation, dont les causes sont en partie liées aux 
processus de démocratisation : 
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7/ existe une contradiction fondamentale entre démarche du compositeur qui tend à 
affirmer son originalité et sa différenciation, et le développement logiciel qui vise la mise à 
disposition d'un même ensemble de fonctions auprès d'une communauté d'utilisateurs (14). 

Vinet fait remarquer que la réponse à cette situation passe par la coopération des artistes et 
des ingénieurs. Celle-ci doit relever le défi de créer des environnements programmables et 
ouverts qui permettent la variété et la personnalisation ; par exemple, les environnements qui 
utilisent le code, ou les environnements dits orientés objets, c'est-à-dire proposant des objets 
graphiques en tant que fonctions, sont à même d'offrir la plasticité nécessaire à éviter une trop 
grande uniformisation. 

Cependant, cette réponse ne peut être que partielle, puisqu'elle se focalise sur la 
technologie en tant que telle, comme solution à l'homogénéisation qu'elle-même est à même de 
produire. De plus, le risque est grand que les lois du marché déterminent la viabilité et la 
pérennité de ces environnements à l'origine dédiés à la recherche musicale ou sonore. 

Cependant, la confiance en l'intelligence et en l'attitude concertée du compositeur est 
opposable à ces dérives ; il est également raisonnable de supposer que l'artiste capable de 
dépasser les pièges du résultat immédiat et des solutions préconçues saura accéder à sa propre 
originalité à l'aide de son savoir-faire et de sa propre expérience. 

De façon perspicace, Pierre Gervasoni à propos de Daniel Teruggi, avance que : 

Le compositeur électroacoustique doit faire face à une instabilité constante des outils, 
inhérente à la démarche (nouveaux appareils, novelles fonctions, nouveaux concepts 
apparaissant sur le marché) et doit maîtriser chaque fois le fonctionnement de l'appareil, avec 
l'entraînement physique et intellectuel que cela représente afin de pouvoir dépasser la 
manipulation de l'outil et l'intégrer dans son processus créatif. Il recouvre ainsi une liberté pour 
son imaginaire qui ne doit être dépendant de son degré de maîtrise de l'outil de travail mais de 
sonpropre niveau de conscience duphénomène créatif (15). 



14. VINET, Hugues. Introduction. VINET Hugues, DELALANDE François. Interfaces homme-machine et création musicale. Hermès Science 
Publications, Paris,1999, p. 12. 

15. GERVASONI, Pierre. Création Musicale et nouvelles technologies: Fusion ou Confusion. DADAMO Daniel, GERVASONI Pierre, 
HUSSON Julien, FERENCZI Thomas. L'art au risque de la technique. Editions Complexe, Belgique, 2001. p. 34-35. 
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Je soutiens également que composer à l'aide d'outils technologiques implique de savoir 
conjuguer le traitement de l'information sensorielle et de l'information symbolique aux niveaux 
les plus abstraits. 

C'est ainsi qu'il serait possible de pointer davantage les questions purement musicales en 
dépassant le fait technologique, favoriser un renouvellement esthétique du langage, construire 
une esthétique solide ainsi qu'aborder les questions formelles. 

L'approche que je propose au regard des nouvelles technologies réside en ce que toute 
innovation technologique porte en elle-même un potentiel de développement créateur et 
artistique. En effet, j'avance qu'elle stimule et provoque l'excitation de la créativité humaine. De 
la même manière que les machines de la révolution industrielle ont su apporter leur lot de rêves 
de nouveaux mondes sonores, qu'elles aient pu apporter à l'homme de nouvelles formes 
musicales dignes de sa modernité, les nouvelles technologies informatiques et numériques, ainsi 
que les nouveaux paradigmes scientifiques, excitent l'imaginaire et nourrissent les espoirs de 
création de l'homme de la société post-moderne et post-industrielle. 

Comme le souligne Anne Veitl, la technologie excite l'imagination de l'artiste : 

Les nouvelles machines nourrissent ensuite les rêves humains; les inventeurs sont parfois 
étonnés par le développement de certaines pratiques qui poussent très loin les logiques de 
l'usage du dispositif technologique qu'ils ont conçu (16). 

Et elle ajoute : 

Appropriée par les compositeurs de musique, une machine puissante comme l'ordinateur a 
pu devenir un outil de création qui donne de nouvelles possibilités d'expression, mais qui 
contribue aussi à changer le rapport des êtres humains au réel sonore (17). 



16. VEITL, Anne. Le compositeur à l'ordinateur (1955-1985) : Des moyens de rationalisation aux outils de réalisation. BARBANTI, Roberto, 
LYNCH Enrique, PARDO Carmen, SOLOMOS. Makis. Musiques, Arts, Technologies : pour une approche critique. L'Harmattan, Paris, 2004, p. 
187. 

17. VEITL, Anne. op. cit., p. 198. 
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1.2.2 Les nouvelles technologies musicales sont incontournables 

Sauf à vouloir se restreindre à l'écriture traditionnelle, il semble difficile pour le 
compositeur d'aujourd'hui, et bien plus encore pour l'artiste sonore, de passer outre les nouvelles 
technologies musicales. Bien au-delà des questions de sonorités ou de textures, on ne peut 
ignorer ce que l'apport de ces technologies a modifié dans la pensée musicale. D'une manière 
générale, il est hasardeux de ne pas tenir compte des profonds changements qui ont été introduits 
dans la pensée artistique. Ceci n'autorise pas l'oublie d'un nécessaire travail purement musical, 
c'est-à-dire qui appartient aux domaines tels que ceux ayant trait à la forme, à la structure, aux 
relations et aux logiques d'engendrement, et à une indispensable réflexion sur le temporel à 
l'œuvre dans tout travail de composition. 

Dans ce sens, au commencement de l'ère de la musique électronique, les réflexions de 
Karlheinz Stockhausen s'avèrent particulièrement intéressantes, en ce qui concerne l'adéquation 
de la musique électronique, en tant que nouvelle forme d'expression artistique nécessaire, aux 
approches sonores surgissant en Europe à partir des années cinquante. 

À partir de 1950, l'analyse de partitions, créées durant la première moitié du 20ème siècle, 
a en effet permis de questionner l'ensemble des éléments traditionnellement associés à la 
musique savante européenne : c'est à dire, le langage musical mais également sa grammaire, son 
vocabulaire ainsi que le matériau sonore utilisé jusqu'alors, y compris la nature intrinsèque des 
sons. Le développement historique de la facture instrumentale était alors étroitement lié à une 
musique, qu'on ne ressentait plus comme sienne. Cette volonté d'exprimer quelque chose de 
radicalement nouveau existait déjà depuis le début du 20ème siècle, mais les anciens signes 
musicaux prévalurent encore durant un certain temps. Une contradiction vit donc le jour, 
opposant la nature physique des sons instrumentaux, utilisés jusqu'alors, à des idées formelles et 
musicales d'un autre genre (18). 



18. STOCKHAUSEN Karlheinz : Elcktronische und instrumentale Musik. Die Reihe 5, Viena 1959. (Traduction Joan Bagés). 
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Pour en revenir aux nouvelles technologies, il est également intéressant de citer le point de 
vue sur la question du compositeur Philippe Manoury (19), qui s'exprime plus précisément à 
propos des machines permettant une interaction en temps réel. Il affirme, dans un article, que ces 
avancées vont provoquer un renversement dans la relation habituelle qui faisait de 
l'instrumentiste un esclave du déroulement automatique et inexorable d'une bande magnétique 
(20). L'instrumentiste deviendra dès lors le maître du temps. 

Karim Barkati (21) dit, ainsi, à propos du temps réel : 

C'est donc bien la garantie du respect d'une contrainte temporelle préalablement établie 
qui permet essentiellement de définir le temps réel dans le domaine de l'informatique 
industrielle et des télécommunications, et non, comme le suggère le sens commun, l'immédiateté. 

À propos du temps réel dans l'art, il ajoute: 

- Modalité temporelle des systèmes de traitement de l 'information dans lesquels il n'y a pas 
de délai entre la sortie d'informations et l'entrée de données, ou, si l'on veut, dans lesquels 
l 'output suit immédiatement l'input. Le temps réel est caractéristique du mode interactif. 

- Instantanéité apparente d'une tâche effectuée par un appareil électronique. C'est ce qui 
se produit, par exemple, avec la contre-réaction, principe bien connu qui consiste à prélever un 
signal à la sortie d'un circuit électrique et à le renvoyer à l'entrée. Cette opération se passe trop 
rapidement pour que l'on perçoive l'infime délai qui se produit réellement. Certains traitements 
ou synthèses sonores informatiques exigent trop de calculs pour être effectués en temps réel. On 
obtient donc le résultat avec un délai qui peut parfois être très long : c 'est le « temps différé ». 
Mais la puissance actuelle des ordinateurs est telle que de plus en plus de systèmes de synthèse 
réagissent en « temps réel », ce qui permet au compositeur d'avoir un contrôle perceptif 
immédiat et continu de son travail. 



19. Philippe Manoury : http://vvwvv.pliilippcinanQury.CQm/ 



20. Bande Magnétique: Ruban de matière plastique souple recouvert d'une substance magnétisable et servant de support d'enregistrement des 
sons, des images, des données informatiques, etc. On trouve la bande magnétique dans les cassettes vidéo, les disquettes informatiques, sur les 
billets de train, les cartes de crédit, etc. Mais historiquement, la bande magnétique est d'abord un support de stockage des sons (...) 
( http://www.larousse.fi7 1 

21. BARAKATI Karim : Entre temps réel et temps différé — Pratiques, techniques et enjeux de l'informatique dans la musique contemporaine 
—THÈSE DE DOCTORAT DE L'UNIVERSITÉ PARIS 8 - École Doctorale Esthétique, Sciences et Technologies des Arts - Discipline : 
Musique Directeur de thèse : M. Horacio Vaggione - Soutenue le 27 mars 2009. p. 32 - 33. 
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- Durée qui est effective au moment de la radiodiffusion ou de la télédiffusion d'une 
émission. 

- Technique vidéo permettant la correction de l 'écart entre le code horaire et le temps réel 
d'enregistrement (NTSC). 

Grâce au temps réel, l 'interprète pourra jouer à son propre tempo, accélérer, ralentir, faire 
des points d'orgue, et retrouver par là toute l'inspiration et la liberté qui était la sienne ; 
l'électronique le suivant désormais (22). 

La pièce Jupiter pour flûte et électronique en constitue un exemple. Elle utilise, pour la 
première fois, un suivi de partition et développe des principes d'interactivité entre la flûte et les 
sons électroniques (Figure 1.2). 

Le suivi de partition consiste à détecter, en temps réel et à partir d'un signal audio, la 
position ainsi que certains paramètres d'interprétation musicale (tel que le tempo) des musiciens 
sur une partition de musique. Les systèmes de suivi de partition ont été largement étudiés dans la 
littérature pour les instruments polyphoniques (23) et sont utilisés dans le contexte de la création 
musicale ainsi que dans celui de l'accompagnement automatique, grâce au logiciel Antescofo 
développé par Ircam (24). 

Dans la partition Jupiter se trouve la partie écrite pour la flûte ainsi que la partie de 
l'électronique, comprenant les indications du son résultant et des événements à déclencher. La 
partie électronique est gérée au moyen d'un patch Max/MSP ou Pure Data (25). Dans l'interface 
graphique du patch, on peut également voir quelques uns des traitements sonores utilisés tels que 
le : Noise, Reverb, Freqshift, déclencher des samplers, etc.. (26) (Figure 1.3). 



22. MANOURY Philippe. Considération (toujours actuelles) sur l'état de la musique en temps réel. IRCAM - Edition Perspectives. 

23. A. Cont, "A coupled duration-focused architecture for realtime music to score alignment", IEEE Transactions on Partent Analysis and 
Machine Intelligence, vol. 32, 2010, pp. 974-987. 

24. A. Cont, "ANTESCOFO : Anticipatory Synchronization and Control of Interactive Parameters in Computer Music", Proceedings of 
International Computer Music Conférence (ICMC), Belfast, 2008. 

25. Max/MSP et Pure Data : Max/MSP: Max est un langage de programmation visuelle pour la musique et le multimédia. Il est développé par 
l'entreprise Cycling74: ( http://cycling74.com/). Pure Data: Pd is a real-time graphical programming environmenl for audio and graphitai 
processing. Miller Puckefte: ( http://crca.ucsd.edu/~-msp Pd_documcntation/x2.htm) 

26. Noise, Reverb, Freqshift, déclencher des sampelr, etc.. : traitements et effets numériques d'échantillons sonores ou de signal audio. Pour plus 
d'information visiter : http://www.dafx.de/ 
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Philippe Manoury résume cette notion de temps réel, qui est au coeur des SMI, en affirmant : 

Pour résumer nous pouvons considérer que l'instantanéité perceptive et l'interaction homme- 
machine constituent à la fois des différences avec la définition générique systémique de Gillies et des 
traits caractéristiques essentiels du temps réel tel qu 'il est appréhendé dans le domaine des arts. 



JUPITER 



tt-J«r' MUQUET 



i 




■ 




Figure 1.2 : Partition de l'oeuvre de Philippe Manoury, Jupiter, pour flûte et électronique. 
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Figure 1.3 : Interface graphique du patch Pure Data de l'oeuvre de Philippe Manoury, 
Jupiter, pour flûte et électronique 
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Dans les pièces de Philippe Manoury Jupiter et En Écho, les sons d'entrée de la flûte et de 
la voix humaine sont analysés en temps réel. Dans En Écho, des données obtenues grâce à 
l'analyse de la voix, telles que la fréquence fondamentale et les formants (27) de la voix, vont 
être utilisées pour contrôler certains paramètres de la partie électronique (Figure 1 .4). 
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Figure 1.4 : Dans cette capture d'écran de la fenêtre de Pure Data nous pouvons visualiser 
la fréquence fondamental obtenue, dans chaque instant, du son d'entrée, par exemple, du son de 

la flûte ou de la voix. 

Le compositeur et chef orchestre Pierre Boulez (28) déclare ainsi qu'un des principaux 
intérêts de ces nouvelles technologies réside dans une utilisation en situation de concert avec, par 
exemple, le suivi de partition, pour lequel la partition est écrite dans l'ordinateur. La machine 
enregistre et suit ; l'interprète commande l'électronique grâce à des points de repère tels que les 
touches d'un clavier, le doigté d'une flûte ou la captation et l'analyse de la voix chantée (29). 



27. Formants : Zone d'énergie renforcée dans un spectre par phénomène de résonance. Une voyelle est caractérisée par ses formants, qui 
permettent de l'identifier. t http://catalogiic. ircam.tr/ sites/voix inodcliscr.syitthctisc.html ) 

28. Pierre Boulez : http://brahms.iicam.fr/picrrc-boulez 

29. Pierre Boulez — Philippe Manoury : http://youtu.be/Dnnn51NDmDzU 
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1.3 Les nouvelles technologies sont des outils 

Bien que qu'une technologie en soit est le propre du développement humain, il faut 
distinguer ce qui apparaît comme progrès graduel et ce qui fait un saut spontané. Il est question 
ici, lorsque nous parlons de nouvelles technologies, des outils élaborés à partir des découvertes et 
des apports de la science moderne. Les nouvelles technologies se matérialisent en un programme 
ou un environnement informatique. Selon Claude Cadoz : 

(...) Mais s'il est facile d'invoquer les «nouvelles technologies» pour annoncer de grands 
changements dans les actes communicationnels, sociaux, économiques, culturels... " il est moins 
facile de caractériser ce qui est nouveau dans la (les) technologie(s) (30). 

Et il précise à propos : 

(...) Ce terme est indéniablement lié à l'ordinateur et à l'ensemble des technologies qui, 
celui-ci étant au coeur, permettent le transport, le traitement, le stockage, l'utilisation de 
l'information et de l'énergie (31). 

Cadoz fait remarquer que certains des principes affirmés par l'avènement de l'ordinateur 
ne sont pas réellement nouveaux, mais qu'en revanche, quelques apports substantiels sont à 
relever, ainsi qu'il le précise : 

L'information et l'énergie ont acquis leur indépendance au XXe siècle. Cette indépendance 
est fortement liée à la notion de relais et d'amplificateur puisque c'est dans une chaîne 
communicationnelle comportant un relais que les ordres de grandeur énergétique contrairement 
aux chaînes directes (comme la chaîne instrumentale) peuvent être totalement différent (32). 



30. CADOZ, Claude. Musique, geste, technologie. GENEVOIS Hugues, DE VIVO Raphaël. Les nouveaux gestes de la musique. Editions 
Parenthèses, Marseille, 1999, p. 72. 

31. CADOZ, Claude, op. cit., p. 73. 

32. CADOZ, Claude, op. cit., p. 74. 



27 



Il ajoute : 

Enfin, le facteur le plus décisif est de taille : les nouvelles technologies contiennent ce 
changement d'échelle qui peut faire envisager comme proche l'avènement du "village 
planétaire" cher à Marshall McLuhan (33). 

Je pense que les nouvelles technologies sont finalement pour l'artiste un outil puissant qui 
permet le calcul de nombreuses données et autorise le stockage de l'information. 

Cet outil a sans aucun doute modifié l'approche à la création, mais il a aussi transformé 
toutes les étapes de la chaîne de création et de diffusion musicale. Les nouvelles technologies 
conditionnent la conception d'une œuvre, c'est-à-dire les relations entre le matériau et les 
techniques de composition, impose la notion d'objet numérique, ouvre sur de nouvelles 
représentations musicales. De plus, l'ordinateur induit par ses possibilités une transformation des 
moyens et des méthodes de production, de diffusion, de stockage voire de la façon même 
d'appréhender l'écoute musicale. 

Enfin, un problème de taille, qui est directement lié à l'ère du numérique, concerne la 
pérennité des œuvres. Celle-ci est mise en question, tout comme l'ensemble des archives 
audiovisuelles d'ailleurs, en raison de l'évolution incessante des formats, des codages, des 
niveaux de développement et de compatibilité des environnements informatiques. 

1.3.1 Domaines d'applications des outils de création 

Les moyens de reproduction et de création sonore ont été, depuis leur origine, très 
popularisés, ce qui a induit une démocratisation exponentielle. Bien que les technologies de 
production musicale se trouvent presque exclusivement dans les studios professionnels jusqu'à 
l'apparition de l'ordinateur individuel, celui-ci devenait dès lors de plus en plus performant, puis 
sa miniaturisation et la réduction de son coût ont ouvert la voie à l'apparition de stations de 
travail personnel, voire de home studios. 



33. CADOZ, Claude, op. cit., p. 78. 



28 



Dès lors, le musicien, professionnel ou non, n'a plus besoin de se déplacer pour produire sa 
propre musique. Le compositeur se trouve seul face à son système audionumérique de 
production musicale. Cependant, perdurent des domaines qui n'obéissent pas aux logiques 
commerciales. Ainsi, la composition assistée par ordinateur et l'analyse musicale ont des champs 
d'applications qui ne sont pas exploités par l'industrie logicielle de la musique. Mandolini en 
énumère certains domaines qui échappent totalement ou partiellement à aux logiques de marchés 
(34): 

- La quantification dans le passage du matériau à l'écriture. 

- Les techniques d'exécution de l'oeuvre en temps réel. 

- La simulation acoustique de la spatialisation des sources et le multimédia. 

Du point de vue de la création, il apparaît que justement, ces domaines sont parmi les plus 
intéressants à exploiter. Je me sens particulièrement intéressé aux techniques d'exécution et de 
composition de la musique en temps réel. 



1.4 Modification de notre approche à la création 

Dans ma pratique artistique, j'ai pu constater que les nouvelles technologies, en raison 
d'une grande facilité d'accès, offrent une proximité qui se caractérise par le mode de 
fonctionnement d'action - perception. Cette condition change complètement notre façon d'agir, 
par exemple, dans la composition musicale. Avec les nouvelles technologies, on obtient de façon 
presque immédiate des résultats sonores relativement satisfaisants. 

Ainsi, plusieurs questions se posent quant à l'utilisation de nouvelles technologies dans la 
création artistique : 



34. MANDOLINI Ricardo. L'idéologie numérique - vers une uniformité d'expression ?. BARBANTI Roberto, LYNCH Enrique, PARDO 
Carmen, SOLOMOS Makis. Musiques, Arts, Technologies : pour une approche critique. L'Harmattan, Paris, 2004, p. 1 82. 
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- Comment les innovations technologiques et les réalisations de l'ingénierie musicale, et en quoi 
l'apport de la recherche scientifique appliquée peuvent être exploités dans le domaine artistique ? 

- Est-il possible établir un effet coercitif (à la manière d'un feedback), productif et pertinent entre 
science, technologie et art ? 

- Existe-t-il une spécificité artistique identifiable dans la création qui intègre les nouvelles 
technologies musicales ? Si la réponse est oui, quelle serait-elle ? 

- Comment les nouvelles technologies musicales changent-elles notre façon de penser la 
musique ? Œuvrent-t-elle vraiment dans tous les champs de la pratique musicale et dans la 
plupart des domaines d'expression ? Qu'en est-il en composition musicale ? Et que dire de la 
perception du compositeur ? Concernant la réalisation du concert et sur le rôle de l'auditeur, 
qu'est-ce qui a changé ? La diffusion des œuvres en est-elle modifiée ? Que dire sur la lutherie 
instrumentale ? 

- L'art musical d'aujourd'hui aurait-il la tentation d'être pensé comme une technologie ? 

- La diversité des outils et des environnements technologiques nous amène-t-elle nécessairement 
à la genèse d'un art sonore dont la notion de réseau d'objets en serait la pierre angulaire ? 

- Est-ce que l'élaboration de ces réseaux d'objets et les détournements de la technologie seraient 
un atout pour contrer l'uniformisation du champ artistique et aider à la singularisation du 
propos ? 

- Est-ce que la démocratisation des nouvelles technologies musicales aurait plus ou moins 
supprimé les barrières entre communautés artistiques ? 

- Est-il possible que la musique créée à l'aide des nouvelles technologies soit intrinsèquement un 
genre musical ? 
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1.4.1 L'attitude de l'artiste 

Toujours selon Mandolini, un compositeur peut avoir deux attitudes face à la technologie. 
La première consiste à assimiler les contraintes, la logique et les techniques d'un environnement 
expert dont le compositeur est supposé en faire un usage pour lequel le programme a été conçu. 

La seconde attitude consiste à détourner certaines fonctionnalités ou même procéder à une 
utilisation différente au regard des limitations d'origine. 

Puisqu'en définitive seul le résultat compte, on peut dire que les deux approches sont 
valables. Cependant, l'amélioration croissante des performances et la fiabilité des programmes 
commerciaux ajoutés aux problèmes des licences propriétaires rendent la seconde approche 
caduque ou techniquement difficile. Mandolini constate que le prix à payer pour des qualités 
supérieures de rendement est justement l'augmentation des contraintes et des limitations, qu'il y 
a un risque d'uniformisation des procédures et des résultats produits, alors même que la 
technologie présente évolue de plus en plus rapidement, que les programmes et les machines 
accroissent leurs fonctionnalités. 

En définitive, toutes les questions qui peuvent sensibiliser les artistes qui abordent les 
nouvelles technologies musicales se présentent à eux, quelle que soit l'attitude adoptée: 

- La technologie conditionne-t-elle réellement l'esthétique et la technique d'écriture musicale ? 

- La question qui sous-tend cet état de fait est la suivante : les formes de pensées musicales 
évoluent-elle conjointement de la même manière ? 

Par ailleurs, les spécialistes affirment qu'il devient plus difficile d'inventer des algorithmes 
totalement nouveaux pour le traitement du son. 

- Un ralentissement des progrès liés à l'application de nouveaux algorithmes est-il inévitable? 
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1.5 Favoriser l'émergence de musiques nouvelles 

1.5.1 Application du concept d'appareil esthétique 

Les nouvelles technologies musicales n'impliquent pas forcément de nouveaux concepts ou 
ne produisent pas nécessairement d'idées musicales. Il est important de rappeler que, 
paradoxalement, avec les nouvelles technologies, on peut aussi faire une musique ancienne. 

Le propos consiste à voir comment l'usage artistique lié aux nouvelles technologies 
musicales va accompagner une reconsidération de l'appareil esthétique, et par-dessus tout, 
comment il peut influer sur notre appareil créatif. 

Je propose d'appliquer le concept d'appareil esthétique - tel qu'il est présenté par le 
compositeur Helmut Lachenmann (35) - au domaine de la création sonore impliquant des 
nouvelles technologies. Il semble que prendre les éléments constituant l'appareil esthétique de 
Lachenmann pour analyser comment les nouvelles technologies modifient notre conception du 
son et du phénomène musical est pertinent. 

De même, un artiste pourrait s'approprier le concept d'appareil esthétique de Lachenmann 
et apporter une alternative à nos conceptions musicales en tentant de les modifier. On aura vu 
que les nouvelles technologies musicales apportent de réels changements aux relations avec le 
sonore. 



1.5.2 Au centre d'une notion de réseau 

Le compositeur ou l'artiste sonore qui investit les nouvelles technologies musicales ne fait 
a priori pas de distinction dans la diversité des outils, notamment des instruments ou des 
applications informatiques mises à son service. 

Entre ces éléments, il tisse un réseau formé d'outils qui permet une utilisation optimum : 
l'application qu'il considère la plus avantageuse ou la plus pertinente selon une situation donnée. 
Précisément, cette idée est soutenue par Horacio Vaggione : 



35. LACHENMANN, Helmut. La question du beau aujourd'hui - 1976. Ecrits et entretiens:". Éditions Contrechamps, Genève. 2009. p. 70. 
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L'ordinateur est considéré en tant que composante de systèmes complexes et où le 
compositeur, en tant qu'autre composante de ces systèmes complexes, est impliqué dans un 
réseau dans lequel il peut agir, projeter et expérimenter des outils concrets et des situations 
musicales signifiantes (36). 

Vaggione affirme aussi que les nouvelles technologies musicales, et en définitive 
l'ordinateur, est à l'intérieur d'un système de relations dans lequel le compositeur est un 
participant qui agit en responsable du résultat de ses propres opérations: 

Les compositeurs n 'utilisent pas seulement des ordinateurs comme des "machines à 
manger des nombres " (number-crunching machines), mais également en tant que partenaires 
interactifs, afin de réaliser des opérations dont le résultat dépend de leurs interventions - 
performances — «directes» ou actuelles (37). 

La remarque de Vaggione fait référence aux processus informatiques de composition 
musicale. C'est en s'appropriant cette idée qu'il devient possible d'élargir le système de relation 
à tout élément possible et imaginable liés au processus de création. 

Il s'agit non seulement des opérations informatiques, mais aussi des concepts de 
composition eux-mêmes, ainsi que du contexte de création et aux outils de représentations 
musicales ; tous ces éléments sont à envisager dans un processus global basé sur des relations et 
des interactions. Finalement tous ces composants d'un même système sont caractérisés pour la 
boucle de retour (feedback) action-perception (38). 

On peut souligner une initiative très intéressante : la plate-forme Virage (39) permet 
l'intégration d'applications musicales diverses selon une logique d'ouverture, de flexibilité, 
d'intégration et d'interaction. 



36. VAGGIONE, Musique, rationalité, langage: Son, temps, objet, syntaxe, vers une approche mulli-échelle dans la composition assistée par 
ordinateur. BARBANTI, Roberto, LYNCH Enrique, PARDO Carmen, SOLOMOS Makis. L'Harmattan, Paris, 2004, p. 332. 

37. VAGGIONE, Horacio. Quelques remarques ontologiques sur les processus de composition musicale. BARBANTI, Roberto, LYNCH 
Enrique, PARDO Carmen, SOLOMOS Makis. Musiques, Arts, Technologies: pour une approche critique. L'Harmattan, Paris, 2004, p. 331. 

38. VAGGIONE, Horacio. op. cit., p. 333. 

39. Plate-forme Virage: f http://www.platcfoimc-yiragc.org/i. 
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1.6 Proposition d'action artistique en guise de conclusion 

Grâce aux outils informatiques, il est possible, par exemple, de procéder à l'écriture du son 
électronique de manière quasi directe, a contrario des techniques qui étaient utilisées en musique 
électroacoustique analogique. En effet, les techniques de manipulation sur supports analogiques, 
à l'instar de la musique concrète, ne permettent pas les mêmes opérations qu'en numérique. Les 
technologies musicales appellent d'ailleurs à une utilisation qui se recentre sur ce qui leur est 
propre. 

Il est donc impératif- et plus intéressant -d'opérer avec les nouvelles technologies sur ce 
qui est leur est vraiment particulier. 

Elles sont un outil de travail, un élément intermédiaire entre le créateur et le matériau qu'il 
est possible d'obtenir par ce biais. Elles contribuent à la réflexion sur les mécanismes de travail 
de la création sonore et musicale. 

L'intégration de spécificités inhérentes aux diverses techniques informatiques se réalise 
dans la pratique liée à la création musicale. C'est en explorant les nombreuses possibilités et en 
jaugeant le corpus de potentialités qui émanent des réseaux complexes d'objets numériques à 
l'intérieur de systèmes de représentations symboliques et sub-symboliques, que celles-ci 
prennent tout leur sens. À ce sujet, Vaggione nous dit : 

"Il me semble que toute la problématique du virtuel est actuellement ancrée dans cette 
perspective. L'aspect sub-symbolique des symboles constitue l'élément matériel minimal nous 
permettant d'accéder et de mettre en rapport toutes les classes possibles de systèmes 
symboliques" (40). 

Les technologies sont autant d'outils plus ou moins complexes, plus ou moins intégrées, 
plus ou moins associées à une forme de pensée artistique. Il est certain que ces formes de pensée 
en mutation ont opéré de profondes modifications dans les pratiques musicales et les usages. 
Aussi je pense que rechercher une attitude expérimentale qui questionne une vision de l'art 
sonore et musical est le propre d'un usage réfléchi. 



40. VAGGIONE, Horacio. Schoënberg et Wittgenstein. SOLOMOS Makis, SOULEZ Antonia, VAGGIONE Horacio. Formel/Informel. 
L'Harmattan, Paris, 2003. p. 240-241. 
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Pour résumer, il s'agit de privilégier une expression plutôt basée sur des modèles qui 
favorisent la création que sur des modèles de représentation, puisque ces derniers n'offrent pas la 
plasticité nécessaire à la singularité. 

D'ailleurs, la plupart des utilisations qui reposent sur de tels modèles - qui pourtant 
abondent dans le domaine de l'industrie logicielle - sont à proscrire, ou du moins doivent être 
limités à certaines pratiques plutôt neutres qui ne façonnent pas le discours artistique. 

En dehors des modèles de représentation, ce sont les langages informatiques ou les 
environnements ouverts qui offrent à l'artiste d'aujourd'hui la plus grande cohérence. 

Je propose le schéma suivant (Figure 1.4) que fait la synthèse des idées et du 
questionnement général soulevé dans ce premier chapitre. Il fait une description aisée des 
relations entre l'artiste, la science et le réseau de nouvelles technologies. 



Il propose, imagine 
des idées et des 
possibilités 



Artiste 



Environnement d'action: Académique, Savoir faire - background - 
projet artistique, dans l'entreprise, dans le communauté artistique 
domaine du ludique, etc.. 




Il fait varier et évoluer 
le concept 



Feedback 



Nouvelles Technologies 



Figure 1.5: Schéma des relations entre l'artiste, la science et le réseau de nouvelles 

technologies. 
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Le schéma précédent met en relation trois éléments qui se situent sur un même niveau, 
sans hiérarchie aucune ; je les conçois comme un réseau d'interactions : 

- Coopération entre science - technologie - art : les relations possibles entre ces trois 
domaines se sont avérées très productives tout au long de l'histoire humaine. Les interactions, qui 
les lient, relèvent de différents types et niveaux. Les instruments de musique sont, par exemple, 
le résultat de ces interactions, ainsi que l'apparition de nouvelles musiques au vingtième siècle, 
telles que la musique électroacoustique (41). Ces relations peuvent aussi se jouer sur un plan plus 
métaphorique, comme c'est notamment le cas pour ce qu'on nomme la musique des étoiles, 
l'harmonie des sphères, etc.. Sur ce sujet, Makis Solomos a écrit: 

La métaphore lumineuse est inscrite au coeur de la pensée musicale occidentale depuis les 
Pythagoriciens et l'on en trouve de nombreuses occurrences dans d'autres civilisations. Chez les 
anciens Grecs, elle relevait d'une telle évidence qu'Archytas, disciple de Pythagore, envisageait 
un lien indissociable entre astronomie et musique via la méditation du Logos et des 
mathématiques (42). 

Les nouvelles technologies actuelles : il faut rappeler que la naissance des SMIS 
(Systèmes Musicaux Interactifs), au cours des années quatre-vingt, est étroitement liée au 
développement de la puissance de calcul des ordinateurs et à la standardisation du protocole 
M.I.D.I (43). À partir de cette décennie apparaissent des concepts tels que la composition 
interactive proposée par Joël Chabade. 

Lt is a characteristic of Interactive composing that a performer, in deciding each 
successive performance action, reacts to information automatically by the System (44). 



41. Musique électroacoustique : Locution utilisée en France pour désigner une technique musicale, et même un genre, apparus dans les années 
50 : il s'agit de la musique pour bande magnétique réalisée en studio par le compositeur, et utilisant indifféremment des sons d'origine 
« concrète » (enregistrés par micros) et des sons « électroniques » (issus d'appareils tels que : générateurs électroniques, synthétiseurs, 
ordinateurs, etc.) qui sont manipulés, assemblés, organisés, pour aboutir à des œuvres destinées à être diffusées par haut-parleurs. 
( http://www.larousse.fr/ ) 

42. SOLOMOS Makis. Introduction. Iannis Xenakis, Gérard Grisey. La métaphore lumineuse. L'Harmattan. Paris, 2003. p. 7. 

43. M.I.D.I. : Est un protocole de communication et de commande permettant l'échange de données entre instruments de musique électronique, 
un ou plusieurs de ces « instruments » pouvant être des ordinateurs, http://fr.wikipedia.org/ 

44. CHABADE Joël. Interactive Composing: An Overview. Computer Music Journal, 8(1), 22- 28 (1984). Reprinted in Curtis Roads, éd., The 
Music Machine. Cambridge, MA: MIT Press, 1989. 
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- Et l'artiste (en tant qu 'individu ou collectif humain opérant dans le domaine de l'art) : Il se 
caractérise par la possession d'un savoir faire particulier mais fait également partie d'un 
environnement, d'un contexte plus ou moins large qui encadre son champ d'action et de 
réflexion. 

En guise de conclusion, la citation suivante, de Jean-Claude Risset, pose un préalable 
solide et légitime : 

Être compositeur, ce n'est pas (plus) seulement produire pour le concert. C'est aussi 
vouloir modeler, transformer, laisser son empreinte sur l'habitus sonore - c'est la musique qui 
fait le son -, proposer de nouveaux outils musicaux, de nouveaux êtres sonores, de nouvelles 
manières de transiger avec le monde du son, ne pas se satisfaire du cadre et des moyens qui sont 
là ; vouloir ce qui n'est pas (45). 

La citation de Risset s'entend comme l'affirmation d'une évidence qui fait écho à ma 
propre position concernant les nouvelles technologies musicales ; la nécessité d'agir se manifeste 
non seulement au sujet de l'action et de la production sonore mais aussi au sujet de la pensée, du 
caractère intentionnel des choses. Il est moins question d'une théorie que d'une modélisation et 
d'une transformation des relations avec le monde sonore. 



45. RISSET, Jean-Claude. Le compositeur et ses machines. De la recherche musicale. Esprit, mars 1985, p. 70. 
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Chapitre 2 

Systèmes Musicaux Interactifs 

Résumé du chapitre : 

Dans ce deuxième chapitre, j'évite d'aborder les aspects trop techniques des SMI 
(Systèmes Musicaux Interactifs) , préférant me centrer sur certains éléments qui semblent plus 
pertinents du point de vue de la création musicale. 

Néanmoins, on citera différentes sources d'information autour les SMI. Ces références 
revêtent un intérêt certain pour le lecteur avisé, mais la bibliographie existante répond largement 
aux questions moins musicales. 

En revanche, six aspects que je considère comme fondamentaux sont présentés pour 
décrire la manière dont j'appréhende les SMI. Le concours de plusieurs auteurs me permet 
d'articuler et de relater un point de vue fondé sur une notion de SMI comme un ensemble 
d'éléments divers qui sont intriqués dans leurs multiples relations. On soutiendra que, 
naturellement, les éléments mis enjeu et formant l'ensemble, le système dit SMI, est supérieur à 
la somme de ses parties. 
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2. 1 Remarques préalables 

2.1.1 Sources d'information 

Le champ de réflexion en relation aux nouvelles technologies musicales est 
particulièrement vaste et fait appel à de nombreux domaines de recherche. Dans le présent travail 
de thèse, un aspect concret du domaine d'applications des technologies musicales est ciblé : les 
systèmes musicaux interactifs ou SMI. 

Certaines questions sont liées à une problématique d'ordre général concernant les 
nouvelles technologies, et par conséquent celles qui sont relatives aux SMI, déjà exposées au 
tout au long du chapitre précédent. Cependant, de nouvelles questions plus spécifiques aux SMI 
apparaissent. 

La présence des SMI n'est pas confinée à une fonction restreinte ni même à un stade 
unique d'un processus d'élaboration d'un projet artistique qui intégrerait ces technologies. En 
effet, ceux-ci peuvent être présents aux différents stades de la réalisation d'une pièce musicale. 
Ils sont à l'origine du fonctionnement d'une installation sonore et déterminent grandement toute 
application interactive dans sa nature ou sa finalité. 

À titre d'exemple, le SMI, en tant qu'objet complexe comportant de nombreuses entrées et 
sorties, sert au calcul et au traitement de données, apporte un contrôle des paramètres musicaux 
mis enjeu dans une pièce instrumentale avec électronique. Le SMI peut être un dispositif pour 
l'improvisation électronique ou encore une aide à la composition en temps réel. Enfin, il s'avère 
que le SMI se rend indispensable à la génération du matériau sonore pour les musiques 
électroacoustiques. 

Il apparaît que les idées musicales issues d'une utilisation des SMI semblent être en étroite 
relation aux particularités des SMI. Au final, il ne saurait être question qu'une remise en cause 
de méthodes qui contiennent dans leur réalité non seulement une dimension concrète mais aussi 
une dimension métaphorique indispensable aux différentes formes d'inspiration puisse être 
envisagée. 

En tant qu'artiste sonore, et dans notre travail de recherche, les nouvelles technologies avec 
SMI restent un élément fondamentalement présent. 
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Bien que les arts numériques et interactifs intègrent de plus en plus une technologie 
performante et qu'un certain effet de mode reste inévitable, la thèse présentée ici repose sur 
l'intérêt réel d'une mise en correspondance des technologies interactives et des arts, en particulier 
dans le domaine musical. 

Les nouvelles technologies musicales interactives constituent un champ exploratoire et 
donnent forme, d'une manière générale, à notre façon de penser la musique. Je tente d'établir une 
dialectique entre la pensée musicale et artistique, à l'aune d'un usage de nouvelles technologies 
avec SMI qui leur sont liées. 

Dans la pratique, j'ai constaté que les SMI conditionnent la réalisation et la création d'une 
oeuvre. Cependant, la pensée musicale ne peut être totalement vassalisé ou absorbée par les 
limitations technologiques de l'éphémère. C'est davantage en essayant de conserver une direction 
intentionnelle en vue d'un résultat musical organisé que l'on peut assigner au SMI un rôle 
adéquat, celui de l'outil. En effet, je pense qu'il existe une lutte constante entre pensée de l'artiste 
et contraintes imposées par des systèmes technologiques avec SMI. 

La bibliographie et la documentation sur la création de nouveaux instruments musicaux 
virtuels abondent. Il en est de même sur les références liées à l'utilisation de nouvelles 
technologies interactives et sur la notion d'interactivité. 

Dans de précédents travaux universitaires de D.E.A. (1) à l'Université de Paris 8 et de 
recherche musicales dans le cadre d'un D.E.M. de Composition Musicale Électroacoustique au 
Conservatoire de Pantin (2), de nombreuses références ont déjà été citées et prises en exemple, 
depuis l'article scientifique ou musicologique jusqu'à la thèse de doctorat dédiées au sujet. 

"Interfaces homme-machine et Création Musicale" de Higues Vinet et François Delalande 
édité Hermès Science Publications, le CD ROM "Trends in Gestural - Control of Music" de 
Claude Cadoz et Marcelo M. Wanderley édité par l'IRCAM, quelques chapitres du livre 
"Musiques, Arts, Technologies: pour une approche critique" de Roberto Barbanti, Enrique 
Lynch, Carmen Pardo et Makis Solomos édité à L'Harmattan. 



1. BAGÉS i RUBI, Joan. D.E.A. Systèmes Musicaux Interactifs avec interface physique. Unviersité Paris 8 - CICM, 2005. 

2. BAGES I RUBI, Joan. D.E.M. - Systèmes Musicaux Interactifs avec contrôleur du geste analogue pour la composition musicale de l'oeuvre 
acousmatique: Càlida Construcclo 1.0. Conservatoire de Pantin, 2007. 
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Quelques chapitres du livre "The Computer Music Tutorial" édité en MIT Press, 
"Interactive Music Systems" de Robert Rowe editado aux éditions MIT Press, "Electronic Music 
Interface" de Joseph Paradiso editado MIT Press, le livre "Les Nouveaux gestes de la musique" 
de Hugues Genevois et Raphaël de Vivo editado par Parhantèsela. La thèse de doctorat de Sergi 
Jordà "Digital Lutherie: Crafting musical computers for new musics' performance and 
improvisation, la thèse doctorale "Utilisation avancée d'interfaces graphiques dans le contrôle 
gestuel de processus sonores" de Jean-Michel Couturier, sont des références indispensables 
parmi les nombreux écrits sur le sujet. Cependant, il existe de nombreux autres articles, thèses ou 
livres sérieux qui abordent de tels sujets, ainsi que par le biais de supports multimédias (CD- 
ROM et sites Internet). 

La présente thèse se place en continuité des références précitées, dans le sens où le propos 
se focalise pour l'essentiel sur les questions liées aux aspects les plus créatifs, plutôt que sur un 
versant qui serait strictement technique ou technologique. 



2.1.2 Le besoin de création et le contrôle d'outils 

Je soutiendrais aisément qu'une sorte de pulsion sonore et musicale réside dans la volonté 
de création et dans l'utilisation pertinente des SMI. La constatation de Joseph Paradiso est 
éloquente à plus d'un titre : 

The désire for musical expression runs deeply across human cultures; although styles vary 
considerably, music is often thought of as universal language. It is tempting to surmise that one 
of the earliest applications of human toolmaking, after hunting, shelter, défense, and gênerai 
survival, was probably to create expressive sound, developing into what we know and love as 
music. As toolmaking evolved into technology over the last centuries, inventors and musicians 
hâve been driven to apply new concepts and ideas into improving musical instruments or 
creating entirely new means of controlling and gêner ating music sounds (3). 



3. PARADISO, Joseph. Electronic Music Interfaces. Portions, 1998. 
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La création d'objets de toutes sortes pour produire des sons et exprimer le phénomène 
musical demeure une constante dans l'histoire de l'humanité. L'invention de nouveaux 
instruments musicaux créés à partir des nouvelles technologies musicales n'est autre qu'une 
continuité qui répond à cet instinct humain dit "homo faber". À ce propos, Laliberté nous 
rappelle : 

Pourtant, ces nouvelles technologies musicales constituent la résurgence de tendances 
historiques bien plus anciennes des instruments de musique occidentaux (4). 

D'après les écrits de Curtis Roads (5), les SMI proviennent du besoin de contrôle et de 
création de la synthèse sonore ou musicale à partir du geste. Au cours de l'histoire, ce besoin est 
passé par plusieurs étapes évolutives, afin de créer plusieurs mécanismes qui vont permettre de 
séquencer le geste instrumental. Un séquenceur est un système qui enregistre les données 
nécessaires, afin de les stocker dans un premier temps et de s'en servir pour reproduire une 
exécution musicale dans un deuxième temps. Les séquenceurs s'occupent de gérer les données de 
contrôle du système. 

Toujours d'après Curtis Roads, l'usage de cylindres, munis de trous à l'intérieur du carillon, 
permet de programmer plusieurs mélodies et/ou accords, en insérant certaines pipettes de bois à 
l'intérieur desdits trous. L'utilisation du papier percé apparaît par la suite, et va donner la 
possibilité de disposer de plusieurs séquences de contrôle. Vient finalement l'enregistrement 
d'une séquence en temps réel, à partir d'un clavier perforant et enregistrant le geste de 
l'instrumentiste (par exemple le Mélographe) afin de le reproduire par la suite. À la fin du 
vingtième siècle, apparaissent plusieurs séquenceurs - contrôleurs tels que les boîtes de musique, 
les pianos programmés et les automates musicaux (Figure 2.1). 

- Séquenceur : Mécanique pure / Mécanique électrique 

- Synthèses : Analogique 



4. LALIBERTÉ Martin. Archétypes et paradoxes des nouveaux instruments. GENEVOIS Hugues DE VIVO Raphaël. Les nouveaux gestes de la 
musique. Editions Parenthèse, 1999, p. 121. 

5. ROAD Curtis. The Computer Music Tutorial. The MIT Press, Cambridge, Massachusetts, Londres, Royaume-Uni, 1996. p. 662. 
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Figure 2.1 : Mélographe 

Au début du vingtième siècle, on découvre les premiers instruments musicaux 
électroniques. Par exemple : 

Décades of performance with analog electronic instruments preceded computer music (6). 

Nous avons des exemples d'instruments électroniques expressifs tels que le Theremin 
(1928), les Ondes Martenot (1928), la Croix Sonore (1934), ainsi que beaucoup d'autres. Ils 
réagissent tous à un input gestuel et génèrent une variation de voltage dans le système (7). 

Mais, au-delà de ce contrôle reposant sur la variation de voltage, subsiste, comme je l'ai 
déjà évoqué, le besoin de contrôler et de séquencer. Les ingénieurs français ont été les pionniers 
dans l'automatisation de la musique électronique. En 1930, A. Givelet et E.E. Coupleux ont 
construit un synthétiseur, contrôlé par un mécanisme de bande perforée. Par la suite, sont 
apparus les premiers systèmes de contrôle électronique, en vue de contrôler un rack 
d'oscillateurs. Retenons ici deux RCA Synthétiseurs séquences par bande : le Mark (I) de 1955 et 
le Mark (II) (Figure 2.2) de 1964. Ce dernier sera utilisé dans de nombreuses oeuvres du 
compositeur Milton Babbitt. 



6. YOUNG G. The sackbut blues : Hugh Le Caine, pioneer in electronic music. Ottawa : National Muséum of Science and Technology. 1989. 

7. COUTURIER Jean-Michel. Thèse, Utilisation avancée d'interfaces graphiques dans le contrôle gestuel de processus sonores? Pour l'obtention 
du Doctorat de l'Université Aix-Marseille II Spécialité ATIAM. Présentée et soutenue publiquement le Mardi 7 décembre 2004. p. 16. 
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Séquenceur: Bande 



Synthèses : Analogique 




Figure 2.2: Mark II 



Dans les années soixante-dix apparaissent les synthétiseurs analogiques, équipés de 
séquenceurs analogiques (Figure 2.3). L'interprète agit sur les boutons du système, auxquels est 
associé un voltage déterminé, afin de pouvoir contrôler chaque paramètre sonore (de même qu'il 
ferait avec les paramètres d'un oscillateur). Tout en pressant les divers boutons du séquenceur, 
l'interprète passe par différents voltages et les envoie aux divers modules du séquenceur. 

Les compositeurs sériels ont utilisé ces nouveaux appareils pour sérialiser les différents 
paramètres sonores. Chaque série de valeurs musicales (hauteur, intensité, durées, etc) était 
programmée de façon indépendante (une série par piste), afin d'être envoyée vers des pistes de 
voltages préalablement stockés. Certains compositeurs, à l'image de P. Boulez, ont eu recours à 
ces séquenceurs analogiques pour composer leurs oeuvres. "Structure 1er" en constitue un 
exemple. 
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L'apparition des SMI est contemporaine de celle des synthétiseurs et des séquenceurs 
analogiques. Mais, ils sont alors perçus comme des appareils « exotiques », permettant de contrôler 
de façon gestuelle la variation de voltage des séquenceurs analogiques (claviers, captage d'ondes 
cérébrales, etc.). 

- Séquenceur : Analogique 

- Synthèses : Analogique 




Figure 2.3 : Moog 960 

Les séquenceurs numériques vont permettre de contrôler des synthétiseurs analogiques, 
grâce à leur capacité de stockage du geste instrumental d'un interprète dans la mémoire de 
l'ordinateur. Le contrôle est enregistré dans la mémoire pour ensuite déclencher le jeu d'un 
synthétiseur analogique. Ces séquenceurs sont des systèmes hybrides, stockant des données sous 
forme numérique et réalisant une synthèse sonore de manière analogique. 

Curtis Roads en donne l'exemple: 

"The System engineered at Bell Téléphone Laboratories in the late 1960s was a computer- 
controlled analog synthesizer (Mathews and Moore 1970). GROOVE (Figure 2.4) stored 
performance information in its memory, in the form of functions of time for each synthesis 
parameter. Thèse functions could be edited to change the original performance". 
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- Séquenceur: Numérique 

- Synthèses: Analogique 

Nous pouvons enregistrer, modifier et éditer les données qui proviennent du captage d'un 
geste instrumental. L'information est stockée sous forme digitale. Ceci va annoncer la 
commercialisation des séquenceurs digitaux, dont l'information stockée peut être éditée. À la fin 
des années soixante-dix, ces séquenceurs sont déjà incorporés dans ces mêmes instruments 
hybrides. Ce fait va être un facteur particulièrement déterminant pour l'essor de la musique 
populaire. 




Figure 2.4 : GROOVE - Bell Téléphone Laboratoires 



L'apparition de la synthèse numérique et du protocole M.I.D.I., au début des années quatre- 
vingt, donne une forte impulsion à l'interactivité musicale. C'est au cours de cette étape que le 
concept de Systèmes Musicaux Interactifs acquiert un sens proche de celui d'aujourd'hui. 
L'accroissement de la puissance des ordinateurs va rendre possible la réalisation de la synthèse 
numérique. De plus, le protocole de communication M.I.D.I. fait entrer en communication les 
systèmes de captage du geste extérieur (périphériques extérieurs comme des claviers M.I.D.I., 
etc.) avec des séquenceurs, des samplers, des ordinateurs, etc. 
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- Séquenceur: Numérique 

- Synthèses: Numérique 

Ces nouveaux "instruments" construits à partir des nouvelles technologies musicales ont 
tendance à se départager entre deux modes fondamentaux, deux phylum qui d'ailleurs existaient 
déjà et que Laliberté considère très justement comme « Archétypes instrumentaux » : 

Les instruments de musique de notre siècle, ces «nouvelles technologies musicales», 
comme les instruments acoustiques traditionnels évoluent entre deux pôles essentiels, deux 
archétypes complémentaires: la voix et la percussion (8). 

Avec les nouvelles technologies musicales interactives il ne s'agit pas seulement de la 
production de nouveaux sons, mais aussi d'une nécessité de contrôle à l'aide du geste physique 
de données brutes ou d'éléments constituants le matériau sonore (bas niveau) ou de séquences 
organisées (haut niveau). 

Le travail de recherche mené par l'équipe du laboratoire de l'ACROE (Figure 2.5) a fait 
montre d'une capacité d'invention significative : le contrôle physique de la synthèse sonore par 
les chercheurs de l'ACROE (1978), en France, a été le premier dispositif gestuel capable de 
communiquer avec un l'ordinateur. Selon Anne Veitl : 

Les inventions de l'équipe de l'ACROE sont exemplaires du souci de construire des outils 
musicaux dont les êtres humains puissent se servir en mobilisant leurs sens et compétences les 
plus pertinents dans la pratique de la musique et de la création. L'idée est d'humaniser la 
relation à l'ordinateur, d'une part en lui adjoignant des dispositifs multi-sensoriels entre 
l'utilisateur et la machine et, d'autre part, en l'utilisant comme moyen de construction 
d'instruments de musique (9). 



8. LALIBERTE Martin, op. Cit., p. 121. 

9. VEITL, Anne. Le compositeur à l'ordinateur (1955-1985) : Des moyens de rationalisation aux outils de réalisation. BARBANTI, Roberto, 
LYNCH Enrique, PARDO Carmen, SOLOMOS Makis. Musiques, Arts, Technologies : pour une approche critique. L'Harmattan, Paris, 2004, p. 

197. 
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Figure 2.5 : Les Transducteurs Gestuels à Retour d'effort de l'ACROE : Clavier Rétroactif 

Modulaire. 
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2.2 Les éléments constitutifs 

Wanderley et Depalle (10) résument les éléments constitutifs des SMI dans à l'aide d'un 
schéma (Figure 2.6). En adoptant cette structure de principe, un cadre, sur lequel proposer le 
stylisme (design) et l'analyse des SMI, est alors disponible. 

Il n'est pas nécessaire de revenir sur une description dans le détail des éléments qui 
constituent un SMI, puisque cette description a déjà été présentée dans de précédents travaux. 
Cependant, pour bien comprendre le sens de ce travail de recherche, il est utile de rappeler 
quelques-uns des éléments fondamentaux et constitutifs des SMI. De plus, toute information utile 
peut être consulté parmi les références bibliographiques mentionnées plus haut. 
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Figure 2.6 : Wanderley et Depalle décrivent les éléments constitutifs d'un SMI. 



En conséquence la création et l'étude des SMI est traditionnellement divisée selon la 
distinction suivante : 

- La captation du geste physique, instrumental, musical, sonore. 



10. WANDERLEY, M. et DEPALLE, P. Contrôle gestuel de la synthèse sonore. Interface home-machine et création musicale. Hernies Science, 
1999, p. 146. 
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La musique induit l'idée de gestualité ; celle-ci transparaît, de manière significative et 
évidente, dans l'acte de toucher ou d'interpréter qui préside à la musique en temps réel . C'est dans 
ce sens que Kessous (11), tout en citant Cadoz, énumère trois fonctions gestuelles qu'on 
rencontre dans un contexte musical. Fonctions du canal gestuel. Fonctions que nous associons à 
la main et que nous trouvons réalisées normalement de forme simultanée : 

. Fonction "ergodique" : Gestes destinés à modifier une structure 

. Fonction "épistémique" : Gestes destinés à reconnaître une forme, une surface, etc. 

. Fonction "sémiotique" : Gestes destinés à établir la communication d'une information et 

n'impliquant pas nécessairement d'interaction physique: saluer, sourire, etc.. 

Cadoz classe les gestes instrumentaux en 3 groupes : 

. Gestes de sélection : Gestes destinés au choix entre de multiples éléments 
. Gestes d'excitation : Gestes qui transmettent de l'énergie à un son 
. Gestes de modification : Gestes structuraux 

En plus de ces différents types de gestes, on peut également citer l'apport significatif de 
François Delalande (12) qui ajoute : 

Un autre type de geste que peut être défini en situation de jeu est le geste accompagnateur, 
il rend compte des mouvements qui engagent le corps dans son entier: geste des épaules, 
mimiques, mouvements ancillaires, inclinations, etc. (...) Un rôle important de ces gestes est la 
contribution qu 'ils apportent à l'épanouissement de l'imagination de l'instrumentiste. 

Hormis ce geste d'accompagnement, Delalande parle aussi du geste d'effet, comprenant les 
gestes destinés à produire mécaniquement un son, ainsi que les gestes figuratifs perçus par le 
public et dont le contenu est purement symbolique. 



1 1. Loïc Kessous: Thèse : Contrôles gestuels bi-manuels de processus sonores. Directeur de recherche : Horacio VAGGIONE . Codirecteur de 
recherche : Daniel ARFIB - Université Paris 8 . 2004. 

12. M. Wanderley et P. Depalle. Contrôle gestuel de la synthèse sonore. Sous la direction de Hugues Vinet et François Delalande. INTERFACES 
HOMME-MACHINE ET CRÉATION MUSICALE. 1999. Hermès Science Publications. 
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- La réalisation ou design de contrôleurs gestuels sensibles, qui permettent au système de 
récupérer une information ciblée (pression, accélération, inclination, intensité lumineuse) - et 
maximale sur les conditions initiales du geste -, est en définitive ce que l'on cherche à interpréter 
sous forme de signal. 

P. Fuchs rapporte : 

Le choix des capteurs représente une étape importante dans la conception d'un nouvel 
instrument. De nombreuses technologies de transducteurs don disponibles sur le marché (13). 

Le marché actuel propose une offre variée de capteurs, destinés à être utilisés dans les 
systèmes de captage du geste instrumental (capteurs de pression, de lumière, d'intensité sonore, 
de vitesse, d'inclinaison, etc.) ou lors de la création d'interfaces physiques. 

- La création de mise en correspondance qui lie virtuellement le geste à la synthèse sonore 
et au résultat sonore perçu. 

Baptiste-Taverner définit:: 

Mapping », substantif du verbe - to Map - signifiant «cartographier». Il s 'agit ici de 
dresser la carte des valeurs transmises par un média en entrée de l'interface et de dresser la 
carte des paramètres d'un processus, informatique, et donc d'établir des liens entre ces deux 
cartes (14). 

La principale différence entre les instruments acoustiques traditionnels et les SMI est la 
division ou rupture énergétique, existant entre le contrôle instrumental et la génération du son. 

Le terme "mapping" (15) décrit cette réalité. Kessous énonce : 

Le terme «mapping» sera utilisé pour désigner la mise en correspondance entre des 
données issues de capteurs ou de périphériques d'entrées, mesurant les gestes et les paramètres 
de contrôle d'un modèle de synthèse sonore. 



13. Mapping : C'est le terme anglais qui désigne « la mise en correspondance » en français. 

14. FUCHS P. : Les interfaces de la réalité virtuelle. Collection Interfaces - Les journées de Montpellier, édition révisée. 1999. 

15. BAPTISTE-TAVERNER. Interfaces Gestuelles: applications musicales. Mémoire D.E. A. Université Paris 8. Professeur de recherche: Horacio 
Vaggione. 
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Autrement dit, la mise en en correspondance est l'élément conceptuel qui mettra en relation 
le geste et la production sonore. Le même auteur poursuit : 

Les stratégies de mise en correspondance se révèlent donc très importantes dans 
l'élaboration d'une interface; elles en sont le moteur, le cœur en quelque sorte car ce sont 
d 'elles que dépendt la qualité artistique des oeuvres créés ainsi que la validité fonctionnelle de 
l 'interface. 

La configuration de la mise en correspondance entre le geste et le SMI est une tâche 
complexe. Dans le modèle des instruments musicaux traditionnels ou acoustiques, la production 
sonore repose sur le contrôle d'une multitude de gestes instrumentaux. Ainsi, lorsque l'on joue de 
la clarinette, les doigts pressent les clés pour produire une note, mais cette action résulte aussi du 
souffle envoyé, de l'embouchure, etc.. C'est l'ensemble de ces gestes corporels qui va permettre 
l'émission du son. Cette mise en relation complexe de plusieurs gestes fait de l'instrument un 
système expressif, communicatif, exigeant un contrôle simultané sur une multitude de 
paramètres. Il n'est donc pas évident, dans le cas des SMI, de recréer cet ensemble de relations de 
manière créative. L'usage du système numérique va permettre de trouver de nouvelles relations 
instrumentales jusqu'alors inconcevables. 

À l'heure d'établir ce lien instrumental, il faut s'interroger sur la nature de ces multiples 
paramètres et facteurs, sur les gestes instrumentaux à utiliser, sur les éléments auxquels ces 
derniers seront rattacher, et enfin sur le résultat sonore auquel on les associera. Nous pouvons 
établir différents types de relations. 

À un premier niveau, nous pouvons avoir un niveau de complexité bas, avec une relation 
de 1 à 1. La mise en correspondance est alors unitaire ; au geste correspond un paramètre. Au 
niveau perceptif, l'interaction de ce niveau de relation est évidente. 

Nous pouvons également établir une mise en correspondance de type divergent. Un geste 
sera alors destiné à modifier simultanément différents paramètres. Face à la multitude de 
paramètres à contrôler, il faudra en effet combiner plusieurs processus, déclenchés par un geste , 
si on veut obtenir un niveau d'expression intéressant. 
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La mise en correspondance de type divergent peut aussi être comprise sous un autre angle. 
L'ensemble des paramètres, composant un geste, sont alors associés à différentes tâches. 

Je trouve particulièrement intéressante l'idée exprimée par Kessous à propos de la mise en 
correspondance multicouche. Cette idée repose sur le fait que toute mise en correspondance met 
en jeu plusieurs paramètres de contrôle intermédiaires, qui sont extraits de l'analyse du geste en 
fonction du contrôleur choisi. Ces données peuvent former des couches distinctes de contrôle et 
être utilisées pour établir la mise en correspondance à différents niveaux (Figure 2.7). 



Transducteur^ 
ge&tuete 


T ■ ■nn.--- 


MllM 
cone&ponddrice 


ii .h i. ii- 


r*todi !-■ •-]-■■ 
Synthèse 


du 
geste 


: -.n'h ----- 




y î couche*'- 





Traduction 
du 


Poniie^relalhew 


Mtee en 

carte spo hdânce 

dUin^lPclorrHinp 

perceptif 


Paramètres 
relatifs i la 


tAbo en cor reipondiaice 

avec les. para rîtèt re-s 

rteîvrrthè» 


j| j percept Ion 


perception loncue 



rvfoi/ri wnicid'i (vuvri, huphtfit*} 






mapptng muftt-toticli* 

Figure 2.7 : Mise en correspondance multicouche. 

- La programmation du moteur de synthèse sonore et finalement l'éventuelle 
programmation d'un retour physique et/ou visuel de l'interaction, ce qui permet à l'utilisateur de 
bénéficier d'un plus grand contrôle et d'une satisfaction accrue dans l'utilisation d'un SMI. 

L'application, qui programme le moteur, dispose d'un système de génération du son 
(moteur) muni d'un modèle de synthèse qui pourra être articulé musicalement. Cette chaîne est 
directement destinée, comme le rapporte Vincent Vefaille (16), à fusionner le feedback auditif de 
la perception sonore avec le geste instrumental du performer. 
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Il existe plusieurs types de synthèses sonores, sur lesquelles je ne m'attarderai pas en raison 
de leur inefficacité globale. Cependant, on peut les retrouver facilement dans de nombreux 
manuels de musique numérique (Synthèse Additive, Substractive, FM, etc.). Ces différents types 
de synthèses peuvent être contrôlés, et leurs paramètres automatisés. Le problème surgit lors de 
la sélection des paramètres et de leur mise en correspondance avec le contrôleur du SMI. 

Par exemple, dans le cas d'un traitement sonore disposant de nombreux paramètres de 
contrôle sonore, il faudra réfléchir au type de mise en correspondance à utiliser. Le traitement 
sonore sera donc en relation avec le type de réponse ou de modèle de S.M.I. que nous voulons 
obtenir, mais aussi avec les inputs gestuels. 

De même, exposer les aspects importants abordés dans ce travail de thèse conduit à les 
présenter sous forme de catégories pour en définir les contours. L'essentiel consiste à distinguer 
ce qui appartient au domaine général de ce qui relève, dans mes propres travaux, de la manière 
dont la création sonore et musicale avec SMI est envisagée. 



16. VEFAILLE Vincent. Utilisation d'espaces perceptifs pour la synthèse et la transformation sonore. (ESPACES SONORES: Actes de 
recherche . Sous la direction d'Anne Sedes). 2003. Editions Musicales Transatlantiques. 
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2.3 Six aspects fondamentaux qui nourrissent ma réflexion 

L'étude, que propose ce travail de thèse, repose sur la distinction entre six aspects 
généraux, se présentant sous la forme de questions. Celles-ci peuvent être décomposées, à leur 
tour, en d'autres questions plus précises, abordant divers sujets d'intérêt pour l'analyse et la 
conception des SMI. 

Ces questions m'intéressent particulièrement dans la mesure où elles mènent à une 
reflexion sur des sujets d'ordre musical, en rapport avec l'expressivité : les rôles respectifs de 
l'interprète et du compositeur ; les nouvelles formes d'écriture musicale ; les nouvelles manières 
de concevoir la situation de concert, d'organiser les matériaux sonores, d'interagir avec les outils 
technologiques, de construire des échelles de complexité selon les relations existant entre les 
différents systèmes ; etc.. 

L'ensemble de ces sujets va nous aider dans l'élaboration d'une proposition d'analyse, 
orientée vers une utilisation fonctionnelle des SMI : 

- Existe-t-il une relation esthétique particulière entre interactivité et genre musical ? 

- Peut-on faire la distinction entre interactivité et interaction musicale ? 

- Qu'est-ce qui différencie les instruments musicaux numériques des instruments traditionnels 
sur le plan de leur opérabilité ? 

- Que peut-on dire du concept de l'ultramédia au regard des SMI ? 

- Comment définir les paradigmes et les modèles de classification des SMI ? 

- Comment peut-on avancer les nécessités de la compréhension de l'interaction sonore ? 
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2.3.1 La relation entre interactivité et un genre ou une esthétique musicale 

Depuis les années quatre-vingt, une éclosion de genres musicaux a surgi autour des 
nouvelles technologies musicales. Paulo Ferreira Lopes et Antonio de Sousa Dias en résume les 
effets selon de deux tendances principales (17). Ces tendances endogènes qui intègrent la 
tradition et les nouvelles technologies qui seraient au service des nécessités de la création. 

A contrario, des tendances exogènes naissantes et plutôt issues d'une prise de conscience 
des potentialités technologiques en tant que milieu pour obtenir une concrétisation artistique se 
font remarquer. Basées sur une rupture et sur le rejet radical de tout contexte qui ne serait pas 
sorti directement des technologies informatiques, ces tendances exogènes interrogent sur l'usage 
indifférencié de la technologie musicale qui fait de la musique interactive un genre ou une 
esthétique. 

- À quel point l'usage des SMI nous porte-t-il vers de nouvelles réalités esthétiques ? 

- Comment une esthétique musicale peut-elle être réellement émerger dans le contexte des seules 
applications interactives ? En quoi peuvent-elles constituer un genre musical ? 

Il est notable que les SMI posent la question d'un apport esthétique dès lors qu'une remise 
en question des certitudes esthétiques a lieu. Lachenmann postule ainsi que l'ensemble de la 
convention musicale se caractérise selon lui en catégories fonctionnelles telles que celles qui 
obéissent à une fonctionnalité harmonique, une hiérarchie métrique, ou encore à une linéarité 
discursive. Ces caractérisations couvrent également sa propre musique, dont les sujets qui la 
constitue témoignent de ces catégories purement musicales. 

Aussi, les attentes des pratiques musicales et ses contraintes sont autant de contextes 
d'expressions auxquels il faut s'attarder. C'est dans cette direction que les applications musicales 
avec SMI ont un fort potentiel d'action et d'influence, jusqu'aux possibilités que de nouvelles 
esthétiques sonores apparaissent. 



17. FERREIRA LOPES Paulo, DE SOUSA DIAS Antonio. Musique et interactions: Aboutissements, mutations, et métaphores de l'instrument 
de musique numérique. 12e Journées d'Informatique Musicale. Actes. Université de Paris 8 - MSH Paris Nord- AFIM, 2005, p. 191. 
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En conséquence les questions suivantes peuvent se poser dans le cadre d'une utilisation des 
SMI: 

- Quel est le champ d'action de l'interprète ? 

- Quel est le poids du déterminisme du compositeur ? 

- Quel est le rôle de l'ensemble des auditeurs ? 

- Que devient la conception du concert ou du spectacle ? 

- En quoi les notions de partition musicale et les systèmes de représentations musicales peuvent- 
elles muter ? 

- Quelles sont les conséquences quant à l'écoute de la musique et plus généralement sur la 
perception du phénomène sonore ? 

- Peut-on envisager que de nouvelles techniques de composition apparaissent ? 



2.3.2 La distinction entre interactivité et interaction musicale 

La notion d'interactivité musicale se rapporte aux espaces opératoires créés par des 
fonctions et les relations dans un espace virtuel. Dans la musique, la notion de virtuel n'est pas 
uniquement le propre de la musique interactive. Philippe Manoury a proposé une définition 
pertinente sur la notion récente de partition virtuelle : 

(...) toute notation musicale peut être qualifiée de virtuelle dans la mesure où, faisant 
appel à la médiation d'un interprète, elle comporte une part d'indétermination et d'incertitude 
(18). 



18. SZENDY, Peter. Musique, temps réel. Résonance, n°14, septembre 1998, p. 6. 
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La réalité d'une forme d'interaction dans la musique existait bien avant l'irruption des 
nouvelles technologies musicales si l'on tient compte de sa définition première. La pratique 
musicale traditionnelle est basée sur une chaîne de communication qui fait appel à la cognition 
humaine, à la motricité et à la perception, qui en soit caractérisé toute boucle action/perception 
(19). 

Une chaîne de communication (ou communicationnelle) se constitue grâce à un réseau 
d'alliances dérivées à partir de relations entre interprète, instrument et texte musical. Elles sont 
caractérisées par un type d'interaction de nature gravitationnel. Paulo Ferreira Lopes et Antonio 
de Sousa Dias nous disent, à ce sujet : 

Ainsi, la notion d'interaction se présente comme une réalité commune à plusieurs époques 
et situations, se révélant intemporelle et non réductible à la structure ou à la nature de 
l'instrument. Ceci signifie alors qu'in peut constater l'existence du phénomène de l'interaction 
indépendamment d'une époque, d'une esthétique ou d'une technologie (20). 

Bien que la réalité d'une interactivité musicale ne serait pas exclusive à l'ère numérique, le 
concept en tant qu'objet de réflexion et sa formalisation font davantage référence aux musiques 
électroacoustiques et électroniques en temps réel. 

Celles-ci s'appuient partiellement sur un principe de dématérialisation dans les processus 
de composition et/ou d'interprétation d'une oeuvre. Le concept d'interactivité musicale se trouve 
dans la réalisation (Design) de nouveaux instruments, comme le Méta-Instrument de Serge de 
Laubier (21). Il fait également référence aux installations sonores interactives, aux musiques 
jouées et composées en temps réel, aux processus de composition hors temps, etc.. 



19. VAGGIONE, Horacio. Quelques remarques ontologiques sur les processus de composition musicale. BARBANTI, Roberto, LYNCH 
Enrique, PARDO Carmen, SOLOMOS Makis. Musiques, Arts, Technologies: pour une approche critique. L'Harmattan, Paris, 2004. p. 333. 

20. FERREIRA LOPES Paulo, DE SOUSA DIAS Antonio. Musique et interactions: Aboutissements, mutations, et métaphores de l 'instrument de 
musique numérique. 12e Journées d'Informatique Musicale. Actes. Université de Paris 8 - MSH Paris Nord - AFIM, 2005. p. 193. 

21. DE LAUBIER Serge. The Meta-Instrument. Computer Music Journal, 22:1 Pages 25-29, Srping. 1998. Massachusetts Institute of 
Technology. 
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Donc Vaggione nous dit : 

(...) l'ordinateur peut devenir à la fois instrument de musique, interface transformatrice et 
génératrice de réalités musicales, outil de composition aussi qu'interprète quasi autonome. Car 
dans la perspective de la création et de la réalisation musicale, les ordinateurs de sont pas 
seulement des "machines à manger des nombres" mais aussi des "partenaires interactifs (22). 

L'ordinateur, dans le cadre de la création ou de l'interprétation musicale, est assimilé à 
l'instrument traditionnel, ce qui permet de créer le même type de relations qu'un compositeur ou 
qu'un interprète peut avoir dans les deux situations. 

Au cours de l'introduction de cette thèse, j'ai évoqué le concept d'interactivité, tel qu'il a été 
exposé par Vincent Mabillot. Celui-ci propose quatre niveaux d'interactivité ; le niveau zéro 
correspond à une indépendance des actions entre elles, alors que le niveau quatre se caractérise 
par un système d'interactions ouvertes et évolutives. En m'appuyant sur cette conception, je 
propose une distinction entre les concepts d'interactivité et d'interaction, auxquels on pourrait, à 
leur tour, associer : 

Interactif — > premier ou bas niveau d'interactivité 

Interaction — > haut niveau d'interactivité 

Il est pertinent d'introduire ici cette différenciation, au sein de la boucle action-perception, 
entre deux processus qualitativement distincts, conduisant à deux attitudes différentes face aux 
SMI. Cette distinction permet une définition plus précise des notions de processus interactif et 
d'interaction : 

- Nous utilisons le terme «interactif» pour décrire des relations émergentes entre des 
systèmes ou entre des entités distinctes. 

Par exemple, tout processus relationnel entre un interprète et un système informatique 
qui favorise l'apparition de relations d'actions qui n'existeraient pas en dehors du couplage ainsi 
formé, est décrit comme étant un processus interactif. 



22. VAGGIONE, Horacio. Some ontological remarks abouî Music Composition Process. Computer Musical Journal vol 25 ni, 2001, p. 54-61. 
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Il en serait de même pour tout couplage qui inclurait deux systèmes informatiques distincts 
- A et B - qui favoriseraient des relations dans un nouveau système couplé. Ces relations seraient 
rendues possibles grâce à des relais. Ces relais sont des fonctions qui seront décrites 
ultérieurement. 

Cette situation implique qu'entre un système A et un système B il y a un code symbolique 
qui permet le transfert de données de A vers B. Ce transfert de données modifie le système B, et 
pour autant, B va produire une réponse adéquate. Ce code de relations est virtuel et par 
conséquent malléable et configurable à chaque instant. Il existe beaucoup de dispositifs 
électroacoustiques où les actions, les données d'un système, par exemple d'un interprète, 
affectent et génèrent une réponse dans le système informatique. 



- La notion d'interaction fait référence à une situation différente. 

L'interaction implique un retour (J'eedback) dans la transmission de données entre les deux 
systèmes. Dans cette situation, les deux systèmes seraient affectés ou modifiés, et non pas un 
seul d'entre eux. En se rapportant aux dispositifs musicaux électroacoustiques où les actions, les 
données ou des sons peuvent être produit par un système A, les conséquences sont les suivantes : 
le système B produit à son tour une réponse qui affecte ou modifie le comportement du système 
A. 

Les SMI constituent un ensemble qui regroupe et catégorise toutes ces possibilités de 
relations et d'actions entre différents systèmes. Soit ces relations sont unidirectionnelles soit elles 
sont bidirectionnelles, c'est-à-dire qu'elles se forment entre machines et leurs applications, entre 
algorithmes ou encore entre système informatique et perception sonore. 

L'exemple le plus simple décrit le cas où un interprète, ou un utilisateur d'un SMI, choisit 
et modifie son comportement en fonction des résultats sonores rendus par le SMI. Dès lors, 
plusieurs questions apparaissent : 

- Quelle situation interactive est la plus pertinente à mettre en oeuvre, l'interactivité ou les 
interactions ? 

- Peut-on parler d'art dans le cas de l'interactivité ? 



60 



- Peut-on faire l'évaluation ou apprécier la pertinence d'un SMI pour se déterminer dans le 
choix des situations d'interactivité ou d'interaction en fonction du contexte ? 

- Comment se produisent les processus de compréhension et de différentiation réalisées par 
l'utilisateur et par l'auditeur ? S'agit-il de situations interactives ou de situations d'interaction ? 



2.3.3 La distinction entre instruments numériques et instruments traditionnels 

Ce troisième aspect repose sur la question suivante : qu'est-ce qui différencie les 
instruments musicaux numériques et les instruments traditionnels sur le plan de leurs 
opérabilité ? 

Paulo Ferreira Lopes et Antonio de Sousa Dias soulèvent trois points d'importance (23) : 

- Un principe de non-causalité entre la manipulation de l'interface et sa répercussion sur le 
résultat sonore 

- L'absence de synchronisation temporelle entre la manipulation des éléments de contrôle 
de l'interface et les conséquences sur le résultat musical 

- La discrétisation du geste musical dans sa relation aux contenus musicaux. 

Ainsi, une particularité fondamentale de la différenciation entre le monde analogique des 
instruments traditionnels de musique et le monde numérique des SMI est mise en lumière. 

Avec un SMI, tout est à déterminer, à penser et à construire. Chaque projet avec SMI 
implique qu'il faille inventer et réinventer de nouvelles solutions. 

À l'image de transmetteurs, les voix de communication et de relais à l'intérieur du SMI 
sont à déterminer, tout comme les relations entre l'utilisateur et le résultat sonore perçu. Dans ce 
travail de thèse, les questions suivantes m'interpellent : 



23. FERREIRA LOPES Paulo, DE SOUSA DIAS Antonio. Musique et interactions: Aboutissements, mutations, et métaphores de l'instrument de 
musique numérique. 12e Journées d'Informatique Musicale. Actes. Université de Paris 8 -MSH Paris Nord - AFIM, 2005. p. 194. 
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- L'usage des SMI et des lutheries numériques conditionne-il la composition musicale ? 
Quelles seraient les particularités auxquelles porter attention ? 

- Si le monde analogique des instruments de musique a permis la généralisation de 
l'instrumentation et de l'orchestration et ainsi créer un répertoire, les spécificités des SMI varient 
constamment le répertoire, les moyens de diffusion, et pose la question de la pérennité des 
œuvres. 



2.3.4 Le concept de l'ultramédia 

Les trois concepts antérieurs sont issus d'un concept plus général qui peut expliquer 
l'origine de telles différences avec les instruments traditionnels : l'ultramédia (24). 

Ce concept de l'ultramédia peut être envisagé selon deux perspectives visant des approches 
distinctes. La position de Barbanti et de Cadoz fait mention d'une disparition de l'objet 
conventionnel qui invalide le plein statut d'instrument au SMI et d'un autre côté s'oppose la 
vision de Vaggione qui défend l'idée d'une l'existence de l'objet sonore numérique à l'intérieur 
d'un espace opérationnel de relations symboliques complexes. 

Barbanti et Cadoz présentent une vision plus traditionnelle des SMI, dans laquelle les 
objets, qui constituent un SMI, se trouvent séparés et isolés. Dans cette configuration, le rôle de 
l'artiste et de l'ingénieur consiste à trouver un relais pour unir des systèmes différents. Je propose, 
pour ma part, une approche prenant pour point de départ la conception de l'objet sonore 
numérique par Vaggione. Sa vision des relations symboliques complexes m'amène à concevoir 
les SMI comme un réseau d'éléments pouvant interagir à différents niveaux, et non pas comme 
une simple somme de parties différentes, vision plus proche de celle de Cadoz et de Barbanti, . 

Les deux positions, celle de Cadoz - Barbanti et celle de Vaggione, ont des points de 
départ différents et décrivent aussi deux choses différentes. On soutiendra donc l'idée que l'objet 
sonore numérique à l'intérieur d'un espace opérationnel décrit par Vaggione peut être élargi à 
tous les éléments constituant un SMI. 



24. BARBANTI, Robcrto. Le rôle des instruments de reproduction acoustique. BARBANTI, Roberto, LYNCH Enrique, PARDO Carmen, 
SOLOMOS Makis. Musiques, Arts, Technologies: pour une approche critique. L'Harmattan, Paris, 2004. p. 22. 
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- Pour Barbanti et Cadoz, un SMI ne saurait être un instrument musical puisque le 
médium, l'intermédiaire entre le sujet et l'objet est disparu et le continu énergétique entre geste et 
résultat sonore est détruit. Barbanti affirme que : 

Quoi qu'il en soit, on peut en revanche affirmer sans réserve que les différents systèmes 
électroniques et numériques, considères parfois comme relevant d'une "lutherie électronique" 
ou comme constituant une "nouvelle lutherie" ne sont pas de instruments (25). 

Le concept de l'ultramédia permet de palier à la disparition de l'objet technique, en étant 
dilué dans une sorte d'immatérialité informationnel et énergétique. Cette dématérialisation de 
l'objet est par ailleurs caractéristique de la société actuelle. 

Avec les nouvelles technologies musicales interactives, une rupture apparaît entre le sujet 
et l'objet. Cette rupture a été remplacée par la médiation technologique, qui a la capacité de 
favoriser l'hybridation et a la faculté de s'approprier chaque aspect de la réalité. 

Cadoz en définit le concept: 

Par "ultramédia ", j 'entends un processus profond de "disparition-généralisation " du 
médium, le médium étant : l'élément intermédiaire entre le sujet et l'objet, la médiation entre 
l'être humain et l'étendue du monde qui le contient. En définitive par médium je désigne, ici, 
l'objet technique, la matérialisation concrète du phénomène technique (...) (26). 

Il est frappant de constater que l'époque reflète une transition entre une époque basée sur 
l'objet spécifique à une autre qui provoque la disparition de l'objet. Les nouveaux objets 
technologiques sont de fait indifférenciés, dénués de concurrences spécifiques, dont l'information 
et la reproduction se fluidifient. 



25. CADOZ, Claude. Continuum énergétique du geste au son simulation multisensorielle interactive d'objets physiques. VINET Hugues, 
DELALANDE François. Interfaces homme-machine et création musicaîelnterfaces homme-machine et création musicale. Hermès Science 
Publications, Paris, 1999, p. 173. 

26. BARBANTI, Roberto. Le rôle des instruments de reproduction acoustique. BARBANTI, Roberto, LYNCH Enrique, PARDO Carmen, 
SOLOMOS Makis. Musiques. Arts. Technologies: pour une approche critique : Aux origines des arts multimédias. L'Harmattan, Paris, 2004, p. 

22. 
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Cadoz ajoute : 

Ces instruments, loin d'être "simplement" des outils de reproduction, peuvent donc être 
qualifiés de "meta-instruments", ou bien de "ultra-instruments" : ils ne son plus liés à des 
sonorités particulières et spécifiques, puisqu'ils peuvent reproduire n'importe que timbre et 
n'importe quelle dynamique, tout en produisant d'autres totalement nouveaux (27). 

La médiation technologique implique de reconstruire tous les ponts entre les nouveaux 
objets indifférenciés et le résultat sonore désiré. N'importe quel geste peut être capté par 
n'importe quel type de capteur ou de contrôleur. 

De même, n'importe quelle analyse d'un paramètre d'entrée dont les variables peuvent être 
mises en relation, avec une plus ou moins grande complexité, à n'importe quel type de résultat 
sonore final. Il s'agit bien d'un autre paradigme. 

En considérant le violon ou le piano comme des interfaces, les gestes qui leur sont 
appliqués, quels qu'ils soient, seront toujours effectués dans les limitations mécaniques de 
l'instrument, et produiront un résultat sonore conforme aux possibilités, même extrêmes, du 
violon ou du piano. Ce paradigme sous-tend un réseau de communications et de relations 
symboliques. 

Il s'agit aussi d'une virtualisation du réel. L'artiste est responsable de l'octroi des signifiés 
et des relations mises enjeu dans ces réseaux informationnels. Iliescu rappelle que : 

Certains pensent ainsi qu'a terme il pourrait se produire un renversement total de 
perspective: le réel "véritable" se transformera peu à peu en une sorte de réserve ou zone 
protégée, alors que les mondes virtuel formeront le cadre permanent de notre vie quotidienne 
(28). 

- Il est envisageable de proposer une autre définition de la notion d'ultramédia à partir des 
travaux théoriques de Vaggione. Une conceptualisation différente de celle de Cadoz et de 
Barbanti s'impose. 



27. BARBANTI, Roberto. op. cit., p. 26. 

28. ILIESCU, Mihu. Du virtuel en musique. BARBANTI, Roberto, LYNCH Enrique, PARDO Carmen, SOLOMOS Makis. Musiques, Arts, 
Technologies: pour une approche critique. L'Harmattan, Paris, 2004, p. 267. 
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Alors que pour Barbanti et Cadoz l'objet est disparu, pour Vaggione l'objet n'a pas 
d'existence nécessaire, du moins il apparaît désormais sous une autre forme. 

L'objet sonore numérique à l'intérieur d'un espace opératoire est formé par un réseau 
complexe d'objets, d'espaces multiples sans aucune forme de relation de linéarité entre ceux-ci ; 
ce sont des hétérogénéités structurelles (29). 

Pour Vaggione, l'ordinateur est un système qui permet les représentations sur lesquelles il 
est possible de procéder à des opérations, notamment à des niveaux temporels distincts (micro, 
mezzo et macro temps), et selon tout type de représentation symbolique ; même le geste manuel 
arbitraire est inclut dans ce réseau d'objets hétérogènes comme le sont aussi les sons, les 
données. Vaggione nous dit que : 

L'objet, dans mon propos, est une catégorie opératoire, c 'est-a-dire un concept technique 
forgé aux fins de trouver un critère de médiation qui pourrait englober des niveaux temporels 
différents dans une entité plurielle mais aux bords définis, et par là manipulable au sein d'un 
réseau (30). 

Si pour Cadoz et Barbanti le médium technique est disparu et aurait besoin d'être 
virtuellement reconstruit, pour Vaggione le médium se constitue dans le sein d'un réseau d'objets 
qui se définit plutôt comme espace opératoire. Cet espace serait de nature multiple, et peut être 
constitué à la fois de codes de programmation, de procédures, de données, de fichiers audio et de 
sons en tant qu'objet d'écoute, de listes, de paramètres, de variables en entrée. 

L'ensemble de ces éléments constitue un environnement informatique ouvert à l'outil 
d'analyse, aux différentes synthèses du son et à toute opération transformationnelle offerte par 
l'outil informatique (31). 



29. VAGGIONE, Horacio. Son, temps, objet, syntaxe, vers une approche multi-échelle dans la composition assistée par ordinateur. Musique, 
rationalité, langage : Cahiers de Philosophie du langage n°3, l'Harmattan, Paris, 1998. 

30. VAGGIONE, Horacio. Composition musicale et moyens informatiques . p. 99. 

31. SEDES, Anne. SEDES, Anne. À propos du temps dans la musique d'Horacio Vaggione. Sous la direction de Makis Solomos. Espaces 
Composantes. L'Harmattan, Paris, 2007. 
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Pour le compositeur Vaggione, agir dans le cadre de ce paradigme signifie mettre en 
relation toute sorte de représentation symbolique, voire sub-symbolique (échantillons sonores ou 
représentations constituées de pixels), mais soutenues par un élément commun, l'outil 
informatique. 

Suite au propos de Vaggione, Sedes précise que les catégories sub-symboliques sont un 
peu comme des éléments vides qui permettent cependant d'établir des passerelles vers des 
dimensions sensibles, car vectorisés intentionnellement pour pointer des repères significatifs du 
point de vue de la perception (32). 

Ainsi, ce quatrième aspect, concernant le SMI, montre que l'on peut y transposer l'idée de 
réseau complexe d'objets symboliques et sub-symboliques de Vaggione, ainsi que la notion 
d'objet numérique à tous les composants des SMI. 

La notion est tout à fait applicable au domaine des SMI. 

Le SMI est comme un espace de relations existantes à différents niveaux de fonctionnalité 
et d'opérations spatio-temporelles. Les SMI est donc un espace opératoire formé d'éléments qui 
sont mis en relation et demeurent composables et configurables. 

Penser les SMI, et par conséquence, l'interactivité et l'interaction musicale à partir de ce 
point de vue augure un champ fertile pour créer des relations entre outils conceptuels, 
informatiques et matériels, et les champs d'applications qui en découlent, tout comme aux sons 
produits à l'aide de ces outils dans un espace virtuel. Un tel espace est un espace opératoire non 
linéaire, dans le sens où les échelles de relations que créées l'artiste à travers tout réseau d'objets 
ont la particularité d'être non linéaire. 



32. SEDES, Anne, op.cit. 
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De nouvelles questions d'ordre musical se posent alors : 

- Est-il raisonnable de penser que l'artiste peut accéder et être réceptif simultanément et 
complètement aux structures musicales, à la génération du matériau sonore, à l'écoute musicale, 
à la création de formes contrôlées ? 

Dans cet espace de relations, tout est configurable, il semble naturel que nombres de 
questions importantes se posent : 

- Quels types de relations devrais-je favoriser ? 

- Entre quels objets vais-je créer des relations ? 

- Quels types de gestes seront les plus pertinents ? 

- Quel type de système de captation sera nécessaire ? 

- Quels types de relations existeraient alors entre geste et résultat sonore perçu ? 

- Quel type de sonorité ou de résultat sonore et musical choisir ? 

2.3.5 Les paradigmes et les modèles de classification 

Puisqu'il est possible de concevoir et de construire des SMI très complexes, il semble 
difficile voire inopportun de parler de taxonomie instrumentale, d'une classification qui ne 
prendrait pas en compte les nouveaux paradigmes et qui serait basée sur des critères obsolètes. 

Dans cette approche risquée, le professeur Robert Rowe propose une classification des 
SMI selon le paradigme ou modèle musical traditionnel dont il se rapproche le plus. Rowe 
énumère les paradigmes suivants (33) : 

- Modèle « instrument » 



33. ROWE Robert. Interactive Musics Systems : Machine Ltstening and Composing. Cambridge, MA: The MIT Press, 1994. 
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- Modèle « interprète » 

- Modèle « compositeur » 

- Modèle « orchestre » 

- Modèle « auditeur - critique » 

Le problème inhérent à cette approche se manifeste immédiatement puisque, se référant 
aux modèles musicaux traditionnels, sont ignorés les nouveaux paradigmes. Le SMI quand bien 
même il serait constitué de certaines caractéristiques qui le ferait se rapprocher d'un instrument 
de musique, il est doté de dimensions qui lui sont propres. Robert Rowe propose alors de 
différencier trois types de classifications ou dimensions de classification propres aux SMI. Ces 
trois classifications seraient des pôles selon lesquels il serait envisageable de situer un SMI. 
Entre un pôle et un autre il serait possible de tracer tout un continuum de possibilités: 

- Premier pôle : entre des systèmes qui utilisent principalement des événements sonores 
prédéterminés, préexistants (par analogie au concept de partition conventionnelle qui déclenche 
des événements figés dans le temps) et des systèmes générés principalement en direct, c'est-à- 
dire, en situation de concert. Ces derniers laissent une marge plus large à des configurations 
évolutives, changeantes, et sont donc plus proches de situations sonores et musicales apparentées 
à l'improvisation. 

Score-driven systems< >Performance-driven Systems 

- Deuxième pôle: Entre systèmes qui répondent aux variables d'entrées de façon créative, 
évolutive, changeante et, par conséquent, à l'inverse des systèmes qui répondent de façon 
répétitive. 

Entre réponse changeante, générative < > réponse répétitive 

- Troisième pôle: Entre instrument et interprète: Systèmes qui répondent de façon 
traditionnelle, c'est-à-dire un geste correspond à un son, à la différence du modèle de l'interprète, 
qui, lui, détermine un système capable de produire de la musique et d'être contrôlé en temps réel. 
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Instrument < > interprète 

Cette classification semble adaptée et aussi particulièrement intéressante, notamment au 
moment de penser et concevoir un SMI. Les distinctions présentées offrent un champ de 
réflexion et favorisent un éventail de possibilités complémentaires, changeantes et intermédiaires 
en partant de la nature propre d'un SMI. En se référant à cette classification, les questions 
suivantes se posent: 

- Peut-on créer des systèmes de différent niveau de complexité, à partir de ces modèles 
polarisés, selon les besoins d'une pièce ou d'une application interactive ? 

2.3.6 La compréhension de l'interaction sonore 

Un sixième aspect des SMI semble intéressant dans le cadre de cette thèse : les questions 
liées à l'interprétation d'une pièce avec un dispositif interactif comme dans une application 
interactive et la compréhension de l'interaction sonore comme étant fondamental. 

Il est crucial que l'intention musicale, que les relations effectives soient compréhensibles, 
car l'intelligibilité du message n'en sera que plus grande. 

Cette nécessité passe l'élaboration d'interfaces qui sont la conséquence d'une pensée 
musicale organisée. 

Proposer une musique de nature interactive, signifie qu'il faille que les interactions fassent 
que l'interprète peut s'approprier l'intention musicale du compositeur, qu'il se fasse comprendre 
à son tour, dans son interprétation, du public. Il est déterminant que l'utilisateur du SMI puisse 
ressentir un niveau d'espace sensible, un espace avec lequel il interagit, où il établit des liens, 
plus ou moins proches, entre la captation du geste, la mise en correspondance interne et le 
résultat sonore perçu. 

Dans cette direction, le type d'interaction et de contrôle proposés à l'interprète et à 
l'utilisateur passe par une d'une application logicielle. 
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Depuis un niveau de contrôle quasi inexistant jusqu'à un niveau maximal, en passant par 
des formes très complexes, les valeurs extraites de l'analyse gestuelle sont rendues audibles, 
selon une mise en correspondance compréhensible de nature causale : 

Contrôle quasi inexistant < > Niveau de contrôle quasi maximal 

Entre ces deux pôles, des vecteurs sont à tracer pour composer l'espace sensible déterminé 
en fonction du contexte propre à chaque proposition artistique. En relation à son propre travail, 
Anne Sedes nous dit que : 

Du point de vue de l'interface instrumentale, je cherche maintenant à rendre sensible 
l'espace sonore produit par l'électronique (34). 

Ainsi que: 

Mon souci est évidement que l'interprète puisse conserver la plus grande marge de 
contrôle et d'expression possible en relation avec le jeu instrumental traditionnel, tout 
instrument de musique étant par nature un interface subtil avec le sonore, qui mérite d'être 
utilisée autrement que comme un simple déclencheur de fichiers sons (35). 



34. Sedes, Anne. Création d'espaces sonores. BARBANTI, Roberto, LYNCH Enrique, PARDO Carmen, SOLOMOS Makis. Musiques, Arts, 
Technologies : pour une approche critique. L'Harmattan, Paris, 2004, p. 87. 

35. Sedes, Anne. Création d'espaces sonores. BARBANTI, Roberto, LYNCH Enrique, PARDO Carmen, SOLOMOS Makis. Musiques, Arts, 
Technologies : pour une approche critique. L'Harmattan, Paris, 2004, p. 86. 
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Dans mes compositions électroacoustiques utilisant des SMI, j'ai essayé d'aborder cette 
problématique selon des propositions distinctes. Dans Interactive Laberintus ou Mâs de mil ojos 
nos vigilan, l'interprète doit faire face à la dualité entre contrôle empirique et compréhension 
d'un espace sonore. On aura pu remarquer que l'interprète, ainsi que le public, a nécessairement 
un besoin de compréhension, et il apparaît même qu'un certain niveau de participation, restreinte 
pour l'auditoire, ajoute à l'intérêt d'une interprétation d'une oeuvre. 

L'interprète étant rompu à l'art de son instrument, notamment sur l'aspect de la précision, 
renseigne sur le haut niveau d'élaboration de la conception et de la tradition des lutheries. 

En effet, les instruments acoustiques, qui sont d'authentiques interfaces mécaniques, ont 
atteint une certaine forme de perfection au fil des siècles, alors même que ces lutheries sont 
constamment mises à l'épreuve. 

Non seulement elles offrent à l'interprète de haut niveau une grande facilité de contrôle et 
de subtilité musicale, mais ces derniers influent, plus rarement, sur leur développement. 

Bien que le propos des instruments numériques ne puisse être de l'ordre de l'imitation, il 
convient de centrer tout développement dans le sens d'une facilité à l'interaction. Le point 
crucial étant le degré d'intégration réalisé dans une œuvre. 

Le SMI doit favoriser la cohérence artistique et sa raison d'être dans le discours musical et 
sonore semble être un vecteur de l'information sensible. 

Toute situation où l'interprète peut être à même de sentir et d'éprouver l'espace de son 
propre corps est sur la voie d'une intégration dans une boucle d'action - perception. 

Si corps et geste déterminent ce qui fait sens, alors l'interprète joue pleinement son rôle. 

À l'évidence, interface et propos de l'interaction ne doit pas être un obstacle, mais bien tout 
le contraire, puisque le SMI est l'un des éléments qui peuvent caractériser une oeuvre. À ce sujet, 
Michel Beaudoin-Lafon nous dit : 
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(...) les applications interactives doivent obéir à une logique interne suffisamment 
cohérente pour rendre leur apprentissage non seulement aisé, mais aussi gratifiant. Une 
interface que l'on "comprend", c'est une interface dont le modèle interne correspond au modèle 
mental de l'utilisateur Or, pour que l'utilisateur constitue son modèle mental, encore fout-il que 
l'application ait un modèle interne (36). 

Cette constatation provoque, au sujet d'une nécessaire compréhension - d'une 
intelligibilité - de l'interactivité ou plutôt de l'interaction, un certain questionnement: 

- Comment favoriser une compréhension interactive telle que décrite ici ? 

- Quelles sont les relations entre le niveau de complexité d'un SMI et le niveau de 
compréhension de l'utilisateur ? 

- Est-ce que la qualité artistique du propos musical ou sonore confère au plan cognitif un 
modèle qui faciliterait, justement, une intelligibilité globale? Pourrait-on s'entendre sur une 
forme d'évidence qui ferait relation entre les différents niveaux de complexité ? 



36. BEAUDOIN-LAFON, Michel. Moins d'interface pour plus d'interactions. VINET Hugues, DELALANDE François. Interfaces homme- 
machine et création musicale. Hermès Science Publications, Paris, 1999, p. 173. 



72 



2.4 Conception des SMI et modèle d'action de l'artiste 

En guise de conclusion autour de la conception des SMI et d'un modèle d'action de 
l'artiste, je propose une position personnelle. 

Les SMI sont pensés et conçus comme l'ensemble d'éléments d'un système définit par le 
créateur sonore et le compositeur. Ainsi des éléments comme le contexte de création, le propos 
d'une pièce, les outils et les environnements informatiques et logiciels, les éléments constitutifs 
d'un SMI, forment un ensemble unificateur, bien que constitué par une diversité d'éléments 
hétérogènes. 

Cependant, et c'est là le point intéressant, tout SMI est conçu comme un système 
autonome, une réalité dotée de ses propres règles de fonctionnement. Celles-ci sont de nature 
modulables, configurables et composables. 

Il n'est pas fait de distinction entre des SMI pour la création, pour la composition, pour 
l'interprétation musicale et pour tout autre domaine d'expression qui serait éloigné du cadre de 
concert de musique. 

Néanmoins, la réflexion qui sous-tend l'ensemble des questions autour des SMI se posent 
au final de manière indépendante de leur application propre et de leurs usages. 

Celui-ci peut faire en faire un usage singulier qui aura pour effet, comme exposé dans la 
(Figure 2.8), de participer indirectement au développement de la recherche sur les orientations 
vers lesquelles peuvent tendre les nouvelles technologies musicales. 
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Figure 2.8 : Les SMI comme un réseau d'éléments composables. 
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Le schéma précédent est une évolution du schéma montré à la fin du premier chapitre. 
Dans cette nouvelle version, je propose, ainsi qu'il a été défendu tout au long de la première 
partie de cette thèse, une conception des SMI comme réseau d'éléments composables. J'entends 
par là un réseau d'éléments configurables, modulables. 

J'aspire à une utilisation des SMI en tant qu'éléments technologiques dialoguant et 
interagissant avec de multiples outils, applications ou environnements technologiques. On peut 
penser et concevoir aujourd'hui les SMI depuis plusieurs plateformes informatiques. 

Dans cette thèse, je ferai par la suite référence à l'un des nombreux éléments servant à la 
configuration des SMI : les langages de programmation Max/MSP et Pure Data. Il m'est 
cependant arrivé d'utiliser d'autres environnements informatiques, mais de manière peu 
approfondie. Il me semble pourtant très intéressant de les évoquer, notamment len ce qui 
concerne e projet Integra (37). 

Integra, an international project led by Birmingham Conservatoire in the UK and 
supported by the Culture programme of the European Commission. We are developing a new 
software environment to make music with live electronics, modernising works that use old 
technology, commissioning composers and overseeing an exciting programme of performances. 
Explore the site by clicking on any ofthe buttons above. 

Integra est un projet qui s'est développé autour d'un logiciel, permettant de faire de la 
musique et des traitements musicaux en temps réel. Il se présente comme nettement plus 
accessible aux musiciens, comparé à des environnements informatiques tels que Max/MSP et 
Pure Data qui se caractérisent par une certaine difficulté d'apprentissage et d'utilisation. Il se 
définit également par la non pérennité de son système, grâce à une maintenance permanente du 
projet, qui permet d'actualiser les anciennes versions des applications créées avec le projet 
Integra. 



37. http://www.intcgralivc.org/ 
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L'application Integra est divisée en deux vues principales (Figure 2.9): Arrange View, qui 
est utilisée pour la composition, et Live View, qui est utilisée pour les performances. 

La Arrange View fournit un espace de travail, dans lequel le compositeur organise des 
idées et des contrôles sur la carte des paramètres du module. Les interactions musicales avec la 
musique en temps réel sont encapsulées dans des blocs ordonnés, qui peuvent être étirés afin 
d'acquérir plus d'importance visuelle ou être disposés verticalement dans des pistes. Celles-ci 
offrent la possibilité d'avoir de multiples lignes de temps indépendantes. L'intérieur de chaque 
bloc ou module peut être ajouté et connecté. Les modules peuvent être de simples processeurs 
«FX» et/ou des synthétiseurs complexes ou sur mesure, pourvus de composants électroniques de 
traitement. Les blocs contenant les modules peuvent être exportés et partagés entre les différents 
projets. Chaque bloc est associé à un certain nombre d'enveloppes, qui peuvent être éditées dans 
l'arrange view. Les enveloppes peuvent être utilisées pour contrôler l'un des paramètres des 
modules à l'intérieur d'un bloc. Chaque bloc fournit également un onglet de routage et de script. 
L'onglet de routage permet au compositeur de faire des liens entre les paramètres. L'onglet script, 
quant à lui, permet d'exécuter le script lorsque les paramètres changent. L'interface de script 
peut, à son tour, être utilisée pour contrôler n'importe quel paramètre d'un bloc sélectionné. 



Le Live View est la plaque tournante des performances de l'application. Elle offre une 
visualisation des paramètres de contrôle, qui seront manipulés en direct durant le concert. Le 
contrôle des modules peut être organisé au sein de l'espace correspondant à l'interface graphique. 
La dimension des modules peut être modifiée en vue d'obtenir une interaction plus malléable. 

Les différents modules configurent des scènes. L'utilisateur a la possibilité de naviguer 
entre ces différentes scènes, qui contiennent les modules de traitement et de contrôle. 

Les fonctionnalités avancées du projet Integra sont: 

- Écrire l'ensemble des paramètres du module contrôlable à distance via la OSC. 

- Écrire nos propres modules dans Pure Data ou Max 5. 

- Écrire nos propres modules de contrôle en utilisant le kit SDK Adobe Flex. 

- Stocker nos projets dans une banque de données en ligne sur mesure. 
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Figure 2.9 : Interface graphique du projet Integra. 

Dans ce projet, deux éléments me semblent particulièrement intéressants, notamment dans 
la perspective des idées que je souhaite développer dans cette thèse : 

- La pérennité des oeuvres musicales créées avec les nouvelles technologies, les SMI. 

La mise en correspondance et la création d'un réseau d'objets numériques expressifs, tels 
que le contrôle évolutif de paramètres de traitement sonore. 
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2.5 En guise de conclusion 

Dans le présent travail de thèse, je soutiens qu'un modèle d'interaction peut être 
appréhendé comme un modèle d'action artistique qui intègre les nouvelles technologies 
musicales. 

Pour illustrer concrètement le propos, l'exemple du projet qui implique la participation de 
personnes handicapées, décrit dans la troisième partie de cette thèse, est témoin de cette 
interaction de l'artiste avec la science, la technologie et l'art. 

Suite au questionnement exposé et décrit dans cette première partie, quelques pistes sont 
proposées, à partir de la notion de réseau d'objets qui inclut les applications et les 
environnements informatiques. 

Cette présentation est faite selon une méthode personnelle pour la construction et l'analyse 
des SMI. 

Ainsi, l'ensemble des différents projets de composition musicale, présenté ici relève d'une 
approche de la création qui tend à montrer que le propre de l'usage artistique au sujet des 
nouvelles technologies consiste à agir et à raisonner à l'intérieur d'un réseau complexe de 
relations et de représentations. 
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Deuxième partie 

Propositions personnelles pour une utilisation des nouvelles technologies et des SMI dans 

mes travaux sonores et musicaux 
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Chapitre 3 

Création musicale et sonore avec SMI 

Résumé du chapitre : 

Dans ce troisième chapitre, la pratique, dans la conception et la création d'oeuvres sonores 
et musicales à l'aide des SMI, est mise en avant. Il s'agit de la présentation de mes propres 
créations à l'aide des outils théoriques développés dans les chapitres précédents. Ainsi, plusieurs 
pièces sont décrites à l'aide de catégories et de paradigmes de classifications des SMI. Ces 
catégories sont au nombre de neuf. 

L'objectif est d'en extraire les éléments constitutifs de chacun des SMI utilisés dans mes 
travaux, afin de montrer l'usage qui a en été fait jusqu'à ce jour et à en montrer une approche 
personnelle dans le rapport SMI - composition. 
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3.1 Les SMI dans mes travaux sonores et musicaux 

3.1.1 Remarques préalables 

À ce jour, mon catalogue (1) se compose de pièces acousmatiques, électroacoustiques et 
instrumentales et d'installations sonores. La plupart de mes travaux et des oeuvres qui explorent 
différentes possibilités d'utilisation et de détournement des outils technologiques dans la création 
sonore, en particulier grâce à l'usage des SMI. 

L'usage des SMI en tant qu'outils opératoires et expérimentaux ainsi que leur niveau 
d'intégration dans les pièces musicales dépend essentiellement du projet concerné. En effet, leur 
champ d'application a vocation à demeurer hétérogène. 



3.1.2 Domaines d'utilisation et d'application dans mes travaux 

À partir du catalogue antérieur, un certain nombre de travaux, qui ont recours à des SMI, 
vont être classés selon six catégories, correspondant aux six questions de caractère général 
exposées dans la page 55. Ces six catégories ont pour objectif de répondre à plusieurs questions, 
développées dans les pages précédentes en fonction de l'utilisation et du rôle fonctionnel de ces 
travaux personnels (Table 3.1). 

Certaines pièces pourraient être apparentées à plusieurs catégories, en raison des fonctions 
multiples qui constituent les SMI ; j'ai donc choisi, à chaque fois, d'effectuer le classement en 
fonction de l'appartenance la plus évidente (2). 

L'ensemble de ces catégories facilite une description générale, qui me permettra par la 
suite d'aborder de manière plus précise certaines questions relatives aux SMI. 



1. Dans l'Annexe A, il est possible de consulter mon catalogue exhaustif tel qu'il est rais à disposition à l'adresse www.ioanbagcs.com/ . Cette 
présentation permet de voir l'importance de mes travaux qui font usage des SMI par rapport à ma production globale. Par commodité de lecture, 
les titres concernés sont en caractère gras, et toutes les pièces sont classées dans un ordre inversement chronologique. 

2. Les pièces qui figurent en caractère gras sont décrites dans l'Annexe B. 
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Intersections Boule-Wav 2.0 
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4 - Le concept de l'ultramédia. 
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Le Tailleur de Temps dans VInterzone 


classification. 


Interzone 


6 - La compréhension de l'interaction sonore. 


Arc en Ciel 



Tableau 3.1: Travaux personnels qui intègrent des SMI repartis selon sis catégories distinctes. 
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3.1.3 Éléments constitutifs des SMI pour penser, créer et décrire les SMI 

L'exposition de chaque pièce ou travaux sonores se fait en fonction des éléments 
constitutifs des SMI. Ces éléments, décrits dans la première partie de la thèse, font appel au 
schéma de Wanderley et Depalle. Ces éléments sont: 

- Le contexte de l'oeuvre 

- La description de l'oeuvre 

- Le SMI 

- Le système de captation sonore et le système de captation du geste physique associé au SMI 

- Le moteur et le son résultant du SMI 

- La mise en correspondance du SMI 

- La partition du SMI et ou partition instrumentale 

3.1.4 Contexte de l'oeuvre 

Cette description relate le contexte de l'existence même du projet. De la conception à la 
création en passant par les principales étapes de réalisation, la description du contexte fait 
mention des conditions avec lesquelles la pièce a été composée ou l'installation élaborée. 

L'environnement de création de la pièce diffère selon les contraintes imposées et critères 
d'action de l'artiste sonore tel que cela a été évoqué précédemment. 

Le projet peut émaner d'une commande institutionnelle, être le produit d'une étude dans le 
cadre d'une formation académique ou encore être le fruit d'une recherche personnelle ou une 
exploration esthétique. 

Le contexte conditionne très largement le projet musical car tout processus créatif s'inscrit 
dans un contexte où existent des codes sociaux, artistiques, esthétiques et historiques avec 
lesquelles il est plus ou moins difficile de s'affranchir, de manière consciente ou par le dialogue. 
Le va-et-vient entre son propre travail et le monde extérieur est en relation avec toute forme de 
traditions, pour lesquelles des contre-propositions peuvent s'imposer d'elles-mêmes, non pas 
pour s'inscrire en faux, mais pour que s'affirment le savoir faire et les intuitions d'un artiste. 
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Ensuite, si toute nouvelle création dessine un univers déterminé et identifiable, alors l'objet 
de création doit être supporté, au sens littéral. Le lieu de création ou de réalisation d'une œuvre - 
salle de concert ou de l'installation - est un élément crucial qui devrait être prit en compte 
puisque l'espace physique conditionne, depuis la conception, l'ensemble du projet. 

À titre d'exemple, l'installation sonore Eléments de Conducta i Transport 1.0, dont la 
description est faite plus loin, montre que le contexte du lieu en détermine les contours. Eléments 
de Conducta i Transport 1.0. est une commande du Musée Picasso d'Horta SantJoan (Espagne), 
et a été créée en l'Eglise du même nom. 

Le lieu a été déterminant pour évaluer et anticiper les conditions de l'intervention. Il est 
naturellement apparu, lors de l'élaboration du projet, que des sons à la texture plutôt « sèches » 
seraient utilisés. Ceux-ci se déploieraient et formeraient un espace réverbérant similaire à celui, 
bien caractéristique, d'une église. Les sonorités y sont différentes et parfois diffuses. Aussi, le 
travail de Picasso sur l'espace aura été le point de départ de cette recherche. 



3.1.5 Description de l'oeuvre 

La description dont il est question ici concerne à la fois le type de musique et le dispositif 
mis en jeu. Y sont également précisées les durées d'exécution. Il peut être question d'une pièce 
purement électronique, d'une pièce électroacoustique mixte, c'est-à-dire avec le concours 
d'instruments musicaux ou bien d'une installation sonore. 

La description de l'oeuvre peut aussi faire référence aux éléments à l'origine de mon 
intuition artistique. La nature du catalyseur des choix artistiques sera également mentionnée ainsi 
que le type d'émotion ou de message mis en évidence. 
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3.1.6 Le SMI comme ensemble du dispositif électroacoustique 

Le SMI est l'ensemble du dispositif électroacoustique. Dans le deuxième chapitre de cette 
thèse, est défendue et proposée une notion de SMI selon la définition suivante: 

7/ est un ensemble de relations tissées à différents niveaux de fonctionnalités et formé par 
les opérations spatio-temporelles mises en jeu. Un SMI est comme un espace opératoire formé 
d'éléments en interrelation et qui sont de nature composables et configurables. 

Un SMI est l'ensemble de tous les éléments qui intègrent le dispositif dans le sens le plus 
large. Les outils physiques dont font partie le système de captation, l'ordinateur, les logiciels et 
les environnements informatiques, la programmation, les objets numériques, ainsi que les 
relations entre tous ces objets. Au final, le système obéit à une loi fondamentale qui établit que le 
tout est plus que la somme de ses parties. 

Les éléments forment un système complexe de relations et d'interactions à plusieurs 
niveaux d'organisation spatio-temporelle. 

À chaque pièce correspond un SMI selon une distinction qui fait le lien aux six aspects 
essentiels décrits au deuxième chapitre de cette thèse. 



- Déterminer les trois polarités qui confortent les paradigmes et les modèles de classification des 
SMI selon Robert Rowe : 

. Score-driven Systems < > Performance-driven Systems 

. Entre réponse changeante, générative < > répétitive 

. Entre instrument < > interprète 



- Déterminer si le SMI a été conçu selon un modèle basé sur des relations interactives ou des 
relations d'interaction, si ces relations entre les composants constitutifs des SMI existent à 
différents niveaux de notions temporelles et perceptives. 
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Le SMI est pensé comme un réseau d'objets physiques et de programmation informatique 
qui, le cas échéant, peuvent comporter les éléments suivants: 

. L'électronique physique (hardware) 

. Les applications logicielles. 

. Tout objet physique qui peut fonctionner en interaction avec le système, à l'instar des 
contrôleurs. 

. La programmation informatique. Toute relation entre le système de captation gestuel et le 
moteur de production sonore n'est rendue possible qu'avec le concours d'une programmation 
informatique adéquate. Celle-ci doit mettre en œuvre l'ensemble des mises en correspondance. 

Intersections Boule-Wav 2.0 (Figure 3.1) en est un exemple. Largement décrite dans les 
pages suivantes, cette pièce montre qu'un SMI doit être pensé comme un tout, c'est-à-dire 
comme l'ensemble des éléments physiques et des outils informatiques qui forment un réseau de 
relations plus ou moins ouvert et complètement configurable. 



Figure 3.1 : L'ensemble du SMI pour la pièce Intersections Boule-Wav 2.0 
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3.1.7 Le système de captation sonore et le système de captation du geste physique 

Tout système de captation est un élément qui permet la collecte de données externes. Le 
microphone en est l'exemple le plus commun. Il sera d'ailleurs très usité et son utilisation 
semble des plus pertinentes, puisqu'en raison de sa nature non invasive, il sera appréciable dans 
le contexte des SMI adaptés à des participants handicapés. Sergi Jordà fait la remarque suivante : 

The controller is thefirst comportent ofthe digital instrument chain. Controllers constitute 
the interface between the performer and the music System inside the computer, and they do so by 
sensing and converting continuons and discrète analog control signais coming from the exterior 
into digital messages or data understandable by the digital System (3). 

Les interfaces physiques dédiées au contrôle de paramètres musicaux ou les interfaces 
usuelles des systèmes informatiques, tels que souris ou clavier, sont aussi susceptibles d'être 
utilisés comme contrôleurs externes. 

On avancera que tout contrôleur ou tout système de capteurs, à moins qu'il ne s'agisse d'un 
projet purement technique ou d'une démonstration technologique, le propos artistique doit 
justifier son intégration. C'est-à-dire que le choix, l'utilisation ou l'incorporation des appareils 
technologiques dans une installation ou une pièce de concert doivent répondre à une nécessité de 
contrôle physique pour la production ou le contrôle du matériau sonore. 

À ce sujet, Fuchs précise que : 

Le choix des capteurs représente une étape importante dans la conception d'un nouvel 
instrument. De nombreuses technologies de transducteurs sont disponibles sur le marché (4). 

Dans ma pratique artistique j'ai pu constater que le choix de contrôleurs conditionne le 
processus de création de l'ensemble du SMI, mais qu'il conditionne également le processus, 
c'est-à-dire qu'il exerce une influence - devant être déterminante - sur la composition musicale 
et sur l'écriture et la programmation informatique. Il faut donc réfléchir autour de la question de 
l'ergonomie. Les questions liées à l'organisation et à la collecte et à l'interprétation des données. 



3 Jordà, Sergi, (2005), PhD Thesis : Digital Lutherie : Crafting musical computers for new musics, performance and improvisation, Directed by 
Xavier Serra, p. 23. 

4 Fuchs, P. Les interfaces de la réalité virtuelle, Collection Interfaces. Les journées de Montpellier, Édition révisée, 1999. 



Les questions suivantes s'imposent d'elles-mêmes : 

- Quels paramètres physiques issus des capteurs et des contrôleurs fait sens ? Quel type 
d'information voulons-nous récupérer ? 

- Quels paramètres vont être associés ou mis en relation avec quels tache ou quelle fonction ? 

- Comment allons-nous interagir avec le système ? Avec quels gestes ? 

- Dans le cas où le contexte ne serait pas typiquement de l'improvisation musicale, comment 
pourrions-nous représenter sur le plan visuel, de façon graphique, le geste qui permettrait 
d'atteindre le résultat sonore désiré ? 



3.1.8 Le moteur et le son résultant du SMI 

Le moteur est l'ensemble des objets que l'on peut configurer ou programmer et qui 
produisent la réponse sonore. La plupart des réponses sonores sont réalisées à l'aide de 
traitements audionumériques du signal. 

Le moteur est l'algorithme qui permet le traitement du signal, mais aussi l'ensemble de 
relations entre les fonctions - objets numériques - qui y participent. 



3.1.9 La mise en correspondance du SMI 

Il a déjà été évoqué que le discontinu énergétique entre le geste physique, le contrôleur et 
le résultat sonore est l'une des caractéristiques inhérentes aux SMI. C'est précisément pour cette 
raison que l'écriture, car s'agit bien d'une écriture, des mises en correspondance est sans doute 
l'une des parties les plus créatives dans l'élaboration des SMI. 

Les stratégies de mise en correspondance se révèlent donc très importantes dans 
l'élaboration d'une interface; elles en sont le moteur, le cœur en quelque sorte car ce sont d'elles 
que dépend la qualité artistique des oeuvres créées ainsi que la validité fonctionnelle de 
l'interface (5). Car ce sont bien les mises en correspondances et la complexité des relations 
internes qui déterminent le comportement sonore d'un SMI. 



5. Kessous, Loïc. Thèse : Contrôles gestuels bi-manuels de processus sonores. Directeur de recherche : Horacio VAGGIONE Codirecteur de 
recherche: Daniel ARFIB - Université Paris 8. 2004. 
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Il est tentant de penser que toute sorte de relation ou de mise en correspondance soit 
facilement réalisable. L'expérience montre qu'une programmation intéressante et riche du point 
de vue des solutions devient rapidement très complexe, et difficile à rendre opérationnelle, stable 
et efficace dans un environnement orienté objet comme Max/MSP (6) ou Pure Data (7). La 
programmation de mises en relation est chronophage, elle implique une batterie de tests et 
d'essais avant d'obtenir des résultats plus ou moins satisfaisants. Dans mes travaux, une 
différence est faite entre deux type de mises en relations : 

- Mise en relation unitaire ou directe : par exemple, une valeur obtenue de la captation du geste 
correspond à une valeur quelconque de l'intérieur du système de programmation. Par exemple, 
les valeurs de pression exercées sur un capteur de pression sont mises en relation avec la 
fréquence de transposition d'un fichier audio, ou par exemple, les variables issues du geste sont 
mises en relation avec une échelle de changements contenus dans un fichier préétabli (preset). 

- Mise en correspondance divergente : toute valeur obtenue à partir d'un phénomène extérieur - 
par exemple la captation du geste - est assignée en tant que variable de contrôle d'un ou 
plusieurs paramètres musicaux. Une suite de valeurs tend à modifier et contrôler à l'intérieur du 
système de programmation un état préalable. La mise en correspondance est divergente. 

En définitive, c'est bien la mise en correspondance qui donne un caractère expressif au 
SMI. Il existe de nombreuses manières de comprendre et de conceptualiser la mise en 
correspondance. Par exemple, comme le dit Kessous, nous pouvons en distinguer différents types 
en fonction du niveau de complexité et de relation qui sont établis. La différenciation s'exprime 
entre mise en correspondance explicite et implicite, simple et complexe ou encore statique et 
dynamique. 

L'idée exprimée par Kessous sur la mise en correspondance concerne la notion de 
multicouche. Il avance existence de plusieurs paramètres de contrôle intermédiaires qui sont 
extraits de l'analyse gestuelle en fonction du contrôle choisit. Ces données peuvent former 
diverses couches de contrôle et peuvent êtres utilisés pour établir des mises en correspondances à 
différents niveaux. 



6. Pure Data: Pd is a real-îime graphical programming environmenî for audio and graphical processing. Miller Puckette: 
t http://crca. ucsd.edu/-msp/Pd_documcntation/x2. htm) 

7. Max/MSP: Max est un langage de programmation visuelle pour la musique et le multimédia. Il est développé par l'entreprise Cycling74: 
( http://cycling74.com/) 
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Telles qu'évoquées par Kessous, les correspondances significatives peuvent être 
schématisé dans un espace tridimensionnel où les variables seront : (Figure 3.2). 

- Valeur d'entrée collectée 

- Valeur de contrôle assignée par le programme 

- Le temps (car la mise en correspondance est dynamique, elle varie en fonction du temps) 

Y- Valeur/es N d'entré capté par le capteur 



X - Valeur/es de de contrôle à l'intérieur de la programmation 



Z Temps 



Figure 3.2 : Évolutions temporelles des valeurs d'entrée et de contrôle de la mise en 

correspondance. 



Des espaces multidimensionnels peuvent être créés à partir du schéma précédent, car les 
trois variables sont évolutives. Cependant, il est également possible d'avoir des valeurs très 
différentes à divers niveaux des éléments composant les SMI, ce qui aura pour conséquence la 
création de systèmes plus ou moins complexes. 
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3.1.10 Partition du SMI et ou partition instrumentale 

En ce qui concerne les pièces mentionnées, j'établis une distinction entre les pièces avec 
partition conventionnelle, celles avec partition graphique, celles avec partition ouverte et celles 
qui sont improvisées. 

Pour les pièces ayant recours à un instrument acoustique, une description du type de 
partition choisie, en fonction du SMI utilisé, sera présentée. 

J'entends par partition graphique des partitions constituées de symboles, de codes et 
d'indications textuelles, qui se caractérisent par leur aspect non conventionnel mais restent 
partagés et compris par un interprète. Ces partitions doivent indiquer la manière dont doit être 
interprétée la pièce musicale concernée. Des compositeurs tels que Earle Brown ou John Cage 
ont notamment développé ce type de partition. 

Je désigne par partition, ou oeuvre ouverte, une oeuvre mobile à l'intérieur de laquelle 
plusieurs trajectoires sont possibles. Dans ce type de pièce, la structure n'est pas fixée au 
préalable ; elle change à chaque exécution en fonction de l'interprète, celui-ci donnant sa forme à 
l'œuvre par un choix effectué entre de multiples combinaisons possibles. La troisième Sonate de 
Pierre Boulez (1957) et le Klavierstùck XI (1957) de Karlheinz Stockhausen en sont des 
exemples notables. 

Par pièce improvisée, j'entends une situation musicale dans laquelle le musicien n'emploie 
pas de partition, au sens conventionnel d'indications de jeu. 

Dans cette thèse, je propose le concept de partition du SMI (8). Ce concept acquiert ici un 
sens plus large que le sens conventionnel. La partition d'un SMI devient l'ensemble des 
possibilités d'articulations sonores et musicales caractérisant une pièce, et la rendant, par la 
même, identifiable. L'accès à cette partition se fait grâce à l'interface graphique du SMI . 

Ces partitions (partition du SMI) se réalisent de deux manières : soit par la configuration 
particulière d'un ordre d'événements, qui déterminent à chaque instant (?) le type d'interactivité 
ou d'interaction sollicitée ; soit par la configuration d'un réseau d'objets offrant à l'interprète 
deux formes possibles d'interaction (cette dernière manière étant proche du principe de partition 
ouverte ainsi que de celui d'improvisation musicale) (8). 



8. Partition du SMI .* Par analogie avec le concept de partition conventionnelle, dans lequel il existe une prédétermination plus ou moins définie 
de certains paramètres et possibilités de contrôle du son. 
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3.2. Proposition personnelle relative aux SMI dans mes créations sonores et musicales 

3.2.1 La relation entre interactivité et un genre ou une esthétique musicale 

Sous cette catégorie, sont regroupées les pièces, pour lesquelles les SMI apportent des 
éléments de réflexion vis-à-vis des notions configurant l'appareil esthétique (rôle de l'interprète, 
du compositeur, des instruments, etc.). Les pièces, proposées dans cette catégorie, apportent des 
réponses aux questions déjà posées auparavant autour de ce sujet. 

- Jusqu'à quel point l'usage des SMI ouvre-t-il la voie à de nouvelles réalités esthétiques ? 

- Comment une esthétique musicale peut-elle émerger dans le contexte des seules applications 
interactives ? En quoi celles-ci peuvent-elles constituer un genre musical ? 

Des questions plus précises dérivent des ces deux interrogations précédentes: 



Sujet sous forme de 


Explication du sujet 


Pièce(s) 


question(s) 








Étudier le changement de rôle 


White Music : le son généré par 


- Quel est le champ d'action de 


de l'interprète et/ou du 


l'interprète devient un des 




« performer », dû à l'utilisation 


paramètres de contrôle en temps 


l'interprète ? 


des SMI. 


réel de la partie électronique. 




Étudier les décisions prises par 


Mas de Mil Ojos Nos vigilan : le 


- Quel est le poids du 


le compositeur et estimer 


composteur utilise le SMI en 




jusqu'à quel point celui-ci 


vue de composer une section 


déterminisme du compositeur ? 


détermine l'ensemble des 
éléments amenés à se produire. 


ouverte de la pièce . Le 
contrôle de cette section est 
laissé à l'interprète ainsi qu'aux 
calculs aléatoires, générés par le 
système. 



93 



Quel est le rôle de l'ensemble 



des auditeurs ? 



Étudier si les auditeurs peuvent 
avoir un rôle plus actif dans la 
pièce, ne se limitant pas à une 
simple écoute du résultat donné 
par le compositeur. 



Étudier les potentielles 
évolutions du concept de pièce 
et de concert, introduites grâce 
à l'usage des SMI. 



Étudier comment l'utilisation 
des SMI conditionne 
l'éventuelle apparition de 
nouvelles formes de 
représentation musicale. 



Que devient la conception du 



concert ou du spectacle ' 



En quoi les notions de 



partition musicale et les 



systèmes de 



représentations musicales 



peuvent-elles muter ? 

Étudier les modification 

- Quelles sont les conséquences possibles de l'écoute, en 

présence d'une pièce ayant 

.,,,, . , , recours aux SMI. 

quant a 1 écoute de la musique 



et plus généralement sur la 



perception du phénomène 



Peintures Sonores Espectacle 
Interactiu Dramatic - Denistés - 
Peintures Sonores Mûsica 
Generativa : trois pièces dont 
les lois de fonctionnement du 
système sont déterminées par le 
compositeur. Cependant, la 
forme finale de l'oeuvre 
musicale va être donnée par le 
SMI, au moyen de calculs 
aléatoires. 

Impulsos : dans cette pièce, les 
auditeurs ont un rôle 
fondamental. Les sons et les 
bruits qu'ils génèrent, en entrant 
dans la salle de concert, sont 
captés et analysés par le SMI, 
qui va ainsi générer une 
partition musicale (graphique) 
en temps réel. 

Le labyrinthe : cette pièce est 
une installation sonore dans 
laquelle les participants 
génèrent et contrôlent, en temps 
réel, les traitements sonores. 

Tôt Pixelant : la partition 
musicale (graphique) est 
générée à partir de l'analyse en 
temps réel du son d'entré ou des 
échantillons stockés dans 
l'ordinateur. 



Aucune pièce ne peut être 
directement associée avec ce 
sujet. Cependant, toutes les 
pièces et les travaux personnels 
présentés dans cette thèse 
étudient, d'une certaine 
manière,la possibilité de faire et 
d'écouter de la musique 
autrement grâce aux SMI. 
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sonore 



-Peut-on envisager que de 



nouvelles techniques de 



composition apparaissent 



Étudier si les spécificités et les 
contraintes, provenant des SMI, 
engendrent de nouvelles formes 
de composition. 



Espaces et chemins et 
OverEspacesCheminsPrinted : 
dans ces deux pièces, plusieurs 
techniques, ou manières de 
composer, sont combinées 
(composition conventionnelle, 
composition par notation 
graphique et partition générée 
en temps réel par le SMI). 



Transducciôn Electrônica et 
Transductions Mixtes : dans ces 
deux pièces, le SMI transmet 
aux musiciens les échantillons 
de la partition sonore (concept 
qui sera développé par la suite) 
ainsi que les données sonores en 
temps réel. 
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3.2.2 White music 

- Contexte de l'oeuvre : de nombreuses collaborations avec le guitariste Santiago Quintans sont 
en relation à plusieurs pièces et projets personnels. Suite à ces travaux, White music à été 
envisagé en 2008 comme une pièce composée pour guitare électrique préparée. Entre autres, le 
son instrumental est traité à l'aide de pédales d'effets qui modifient le son et le timbre de 
l'instrument. 



- Description de l'oeuvre : White music est une pièce électroacoustique pour guitare électrique 
préparée avec des objets et modules électroniques physique (pédales d'effets) qui fait appel à un 
SMI. 

De nature bruiteuse, et d'une durée de sept à huit minutes, White music peut être définie comme 
étrange ou du moins de part son approche de l'électronique. 

En effet, il s'agit d'un travail sur des objets sonores de nature « sales » dans lequel le son de la 
guitare est lui-même utilisé comme contrôleur de paramètres du moteur du SMI. 

De plus en plus, le travail de composition est envisagé comme un engagement conjoint avec 
l'interprète. 

À partir de la relation entre interprète et compositeur, il est envisagé un travail impliquant cette 
relation à chaque étape du processus de composition : la sélection et le choix de la palette sonore, 
les types d'articulations nécessaires en fonction du type de matériau sonore. 

Ainsi, issus du travail avec Santiago Quintans, une palette sonore adéquate et des objets sonores 
« bruiteux » sont créés à partir des gestes et des modes de productions sonore variés. 

Ces objets ont été ensuite composés et mis en relation selon différentes échelles temporelles, 
pour construire le discours musical. On peut parler du bruit structuré en treize phrases ou 
sections où un motif très perceptible apparaît au début de chaque nouvelle section. Cet élément 
devient un élément structurel de la pièce qui sépare les différentes phrases ou sections de la 
pièce. 



96 



L'instrument est équipé des éléments suivants : 

. Une pédale sampler. permet la captation du son de la guitare dans le temps réel de la pièce et 
restitue 1' enregistrement dans les deux sens de lecture (avant et arrière). 

. Une pédale de type chorus 



Divers objets ajoutés sur l'instrument lui-même en modifient la nature sonore : 

. Un « clip » métallique placé entre les cordes et la touche de la guitare, précisément près du 
sillet. 

. Une feuille de papier aux normes A4 ; la feuille est pliée et doit être inséré entre les cordes et la 
touche de l'instrument. 

. Un câble de connexion audio de type « jack ». 



- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle Score-driven Systems, 
du modèle à réponse changeante-générative et du modèle interprète et selon un modèle 
d'interaction pour permettre un jeu entre action et perception sonore du résultat sonore rendu par 
le système. 

Le SMI est constitué d'un ordinateur avec le patch que nous avons écrit en Max/MSP, ainsi que 
de deux microphones. 

Le programme est dédié à: 

. Amplifier le son de la guitare préparée avec les objets et les pédales. 

. Récupérer le son pour le traiter. 

. Récupérer le son pour l'utiliser aussi comme contrôleur. 

. Générer les traitements sonores. 
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- Le système de captation sonore et le système de captation du geste physique du SMI : deux 
microphones, dont l'un est placé en façade du haut-parleur du système d'amplification de la 
guitare et l'autre est disposé à proximité de la touche, servent à capter les sons issus des objets 
placés sur l'instrument (Figure 3.4). 
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Figure 3.4: Ce sub-patch nous permet de récupérer le signal audio et les valeurs d'amplitude des 

microphones en entrée directe. 
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- Le moteur et le son résultant du SMI : le moteur du SMI est constitué d'éléments de traitement 
en temps réel et d'un réservoir de quatre séquences sonores qui sont déclenchées à certaines 
moments de la pièce, pour ainsi souligner l'idée et la sonorité bruiteuse de la pièce (Figure 3.5). 
Les traitements suivants sont appliqués au son de la guitare : 

. Un filtre [comb] de Max/Msp filtre le bruit produit par la guitare. Ainsi il est possible de faire 
ressortir certaines fréquences seulement. Le résultat de ce traitement est spatialisé à l'aide des 
objets de spatialisation programmés au CICM de l'Université de Paris 8 (9). 

. Le résultat du filtre [comb] permet d'obtenir une structure faite de dix-huit lignes de retard avec 
changement de fréquences par glissandos. Chaque ligne de retard a une enveloppe d'amplitude 
différente qui varie dans le temps. 

. Distorsion sur chaque entrée directe de la guitare vers le patch Max/MSP. 

. Quatre séquences composées en studio. 



9. Objets de spatialisation programmés au CICM de l'Université de Paris 8: ( http:7cicm.mshparisnord.Org/l 
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Figure 3.5 : Sub-patch avec les traitements du moteur de génération sonore. 



- La mise en correspondance du SMI : à l'aide de la barre d'espace de l'interface informatique, 
une seconde personne déclenche les différents presets de la partition du SMI. De cette façon, 
sont activés tous les processus composés relativement à chaque section de la pièce. Certain 
processus sont automatisés à l'aide de fonctions programmées sous Max/MSP. Ces fonctions 
obéissent à des moments précis de la pièce. D'autres processus sont directement dépendant du 
son de la guitare. Le niveau d'amplitude sonore et les attaques deviennent des valeurs de 
contrôle. 
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. L'amplitude sonore de la guitare contrôle directement, à partir de l'objet natif Max [zmapj, 
l'évolution du volume du filtre comb (Figure 3.6) et de la distorsion (Figure 3.7). Ceci produit 
une relation directe entre les deux objets en entrée et en sortie, un peu comme s'il s'agissait d'une 
ombre sonore. 

La mise en correspondance unitaire est la relation perceptive la plus directe entre une valeur de 
contrôle gestuelle ou sonore et une valeur de contrôle appliquée à un traitement. 

Les autres valeurs de l'objet [comb] sont automatisées en fonction du résultat désiré dans chaque 
section. La valeur du feedback est constante dans toute l'oeuvre et le delay de l'objet [comb] est 
automatisé avec des valeurs différentes dans chaque section. 



. Les attaques du guitariste servent à l'activation de fonctions aléatoires de type [random] pour 
sélectionner différentes configurations de spatialisation du traitement comb et de la distorsion 
(Figure 3.8). 
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Figure 3.6 : Ce sub-patch contrôle le volume du filtre [comb]. 
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Figure 3.7 : Ce sub-patch contrôle le volume de la distorsion. 
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Figure 3.8 : Les attaques du guitariste servent à l'activation de différentes configurations liées à 

la spatialisation du son traité. 
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- Partition du SMI et/ou partition instrumentale : un sub-patch contient l'ordre des événements à 
déclencher, par la personne au contrôle du SMI (Figure 3.9). Les événements sont préalablement 
organisés selon une succession de traitements eux-mêmes déterminés. Cette succession 
temporelle d'événements conditionne le résultat et la particularité sonore de la pièce. On peut 
donc avancer que le sub-patch est une sorte de partition interne du SMI. Le SMI a d'ailleurs été 
créé en fonction de la partie instrumentale, qui interagit avec les éléments de contrôle de la partie 
électronique. 

La partition instrumentale se présente sous la forme d'une partition graphique, donnant à 
voir la représentation d'une onde sonore (Figure 3.10). Ceci est un exemple d'une approche 
possible, dans l'optique d'une représentation adaptée aux besoins musicaux. 

Une recherche concernant des systèmes alternatifs de notation musicale devra être menée 
en fonction du projet musical . Il s'agit, entre autres, de partitions graphiques ou de partitions 
créées en temps réel par le SMI. Cette recherche est mise en évidence tout au long du présent 
travail ; le principe de partition alternative, spécifique à une unique création musicale, apparaît, 
quant à lui, dans plusieurs pièces. 
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Figure 3.9 : Par exemple les événements 6, 7, 8, 12, 13 déclenchent la lecture de fichiers audio. 
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Les différentes formes d'onde, qui représentent les différentes sections de la pièce 
auxquelles sont ajoutés divers commentaires sur les actions à réaliser, donnent à l'interprète une 
temporalité déterminée. La forme d'onde est en fait une représentation dans un plan orthonormé 
(x, y) ici amplitude - temps. 

La forme d'onde nous donne une information relative à l'intensité sonore. Mais elle 
renseigne également sur la densité, sur la succession des événements sonores, sur la durée 
relative de chaque section, ainsi que qu'au sujet des textures (trame plate, percussive, etc.). 
Avec les commentaires qui se succèdent dans les treize sections, la forme d'onde suggère à 
l'interprète une orientation du résultat sonore dont il faudra s'approcher. 

TIEMPO 00'33" 
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Figure 3.10 : Partition graphique de la guitare électrique avec les commentaires sur les gestes et 
les modes de production sonore à réaliser. 
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3.2.3 Mâs de mil ojos nos vigilan 



Mâs de mil ojos nos vigilan est une pièce dotée de l'un des SMI les plus complexes que j'ai pu 
développer jusqu'à ce jour, en raison d'une complexité du dispositif de captation de l'information 
(image et son) et d'une programmation ardue du patch Max/MSP. Cette pièce doit être mise à 
part, bien qu'à son sujet, certaines questions relatives à la problématique de cette thèse se posent. 
Cependant, ces questions seront abordées directement dans les conclusions de ce troisième 
chapitre. 

- Contexte de l'oeuvre : Mâs de mil ojos nos vigilan est un projet développé en 2010 qui 
comprend plusieurs pièces musicales formant une oeuvre pour violoncelle et électronique - SMI. 
Cette oeuvre a été composée en 2010 dans le cadre pédagogique de la classe de composition 
électroacoustique de Denis Dufour, au sein du Conservatoire à Rayonnement Régional (CRR) de 
Paris, où la pièce a été créée la même année, par la violoncelliste française Amandine Robilliard. 



- Description de l'oeuvre : d'une durée de vingt-deux minutes, l'oeuvre porte sur une réflexion qui 
met en exergue le danger que représentent les systèmes et caméras de surveillance comme 
moyen de contrôle social. 

Cette idée de départ a donné lieu tant à la structure qu'au matériau sonore, à la temporalité ainsi 
qu'au contenu des différentes sections de l'oeuvre, c'est-à-dire à tous les éléments qui constituent 
le travail de composition, ainsi que sur le choix du dispositif de captation du geste de 
l'instrumentiste. À l'instar du projet EMSTI présenté dans la troisième partie de cette thèse, le 
présent système utilise un même principe de captation à l'aide d'une webcam. Initialement conçu 
dans le cadre d'un projet de musique interactive impliquant des personnes avec handicap. Mâs de 
mil ojos nos vigilan met en exergue le citoyen observé, mais aussi protégé. La caméra et le 
microphone sont comme une métaphore de l'écoute et de l'observation permanente de tout ce qui 
se dit et se fait, et font dans le même temps allusion à l'idée de sécurité. Au-delà d'une simple 
démonstration de moyens techniques, le message transmit est ambigu et comporte une dualité. 
Le conflit entre l'espace public et l'espace privé. Entre liberté et contrôle, les gestes physiques et 
sonores du violoncelliste sont écoutés, enregistrés, analysés et en fonction de son discours 
musical ils sont pénalisés ou récompensés grâce à un patch Max/MSP qui gère toute 
l'information. Ces rapports déterminent la structure de la pièce en cinq sections. 
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La pièce montre clairement cette dualité, avec le contenu musical et avec le choix du dispositif, 
donc le violoncelle est entouré d'un système de contrôle comme la webcam et le microphone, et à 
son tour, la personne qui est à l'ordinateur représente la personne qui surveille le violoncelliste- 
citoyen. 

. Section 1. Le système informatique suit en quelque sorte le geste-son du violoncelliste. Le 
système de captation ainsi que la musique électronique provoque une prégnance invisible sur 
l'instrumentiste. 

Une asphyxie qui ne laisse pas de répit aux actions du violoncelliste. À la manière d'un 
automate, le système et l'électronique semblent inflexibles dans leur observation aux figures 
gestuelles et aux articulations musicales du violoncelliste. De son côté, l'instrumentiste se 
sachant observé, il se sait également appuyé par le système informatique. 

. Section 2. Dans cette section, tous les angles d'attaques et toutes les configurations 
instrumentales réalisées par l'interprète sont enregistrés. Le violoncelle est donc analysé et 
immédiatement interprété par le système dans les limites permises par le programme. Pour le 
violoncelliste, il s'agit d'un accompagnement inaudible auquel il doit s'accoutumer. 



. Section 3. La métaphore musicale souligne la tentative du couple geste et son du violoncelliste 
de trouver une échappatoire au couple son-électronique et système-informatique. Ce dernier est 
intrusif et perturbe une sorte de quiétude. Le couple son-électronique et système-informatique 
poursuivent donc, musicalement parlant, le couple geste-son. L'issue est incertaine, car soit 
aucune échappatoire n'est possible et le violoncelliste finit par s'épuiser et désespérer, soit il 
parvient à s'échapper du système. 

Il y a, pour ainsi dire, une persécution du couple son-électronique et système-informatique à 
l'encontre du violoncelliste. Cependant, il peut être envisagé une forme de collaboration avec 
contraintes entre les deux couples, créant des relations de subordination et de dépendance. 

. Section 4. Tous les gestes et sons du violoncelliste ne sont pas égaux au regard et à l'écoute du 
système. Il y a des gestes-son qui sont suivis et pénalisés. Autres gestes-sons sont récompensés. 



106 



. Section 5. Le geste et le son du violoncelliste livrent une lutte sans merci, se confrontant 
désespérément au système et au son électronique. Des instants fugaces de réflexion parviennent a 
être saisis par l'auditeur, mais il est rapidement fait place à une violence sans concession. 
Finalement, quand le violoncelliste achève sa partie instrumentale, une séquence vidéo est jouée, 
servant de coda pour la pièce, tel un surveillant. Cette disposition donne un angle de vue 
pertinent sur la pièce, qui peut alors être explicité de façon plus magnanime. 

- Le SMI : le SMI est constitué d'un dispositif de collecte d'information relative au geste et au 
son du violoncelle et d'un dispositif pour le stockage des données (Figure 3.11). 

Ce SMI a été conçu pour mélanger des relations interactives et des relations d'interaction selon 
les moments de la pièce. Et de nombreuses occasions le système utilise, pour des taches 
distinctes, les deux modes de fonctionnement, dans le but de gérer l'information et créer un 
espace plus ou moins sensible au geste. Ce SMI a été pensé selon les paradigmes polarisés 
suivants: le modèle score-driven Systems, le modèle de réponse changeante, générative et le 
modèle instrument. 
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Figure 3.11: Schéma du dispositif. 
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Le SMI est constitué de deux ordinateurs, d'une caméra en réseau (webcam) et d'un microphone. 

Le SMI a pour fonction de : 

. Recevoir les informations qui arrivent du contrôleur. 

. Générer une réponse sonore. 

- Le système de captation sonore et le système de captation du geste physique du SMI : 

D'un côté nous avons à disposition le dispositif du surveillant avec un Ordinateur 1 équipé d'un 
patch Max/MSP. 

L'interface du patch est contrôlé avec le clavier et la souris de l'ordinateur (Figure 3.12). Le 
surveillant active avec la barre d'espace de l'ordinateur les presets de la partition. 

Avec le patch on récupère directement le son du violoncelle grâce à un microphone (Figure 
3.13). 

L'assistant musical, qui joue le rôle du surveillant, récupère grâce à une seconde machine et 
d'une caméra en réseau relié à lui, les données gestuelles de l'archet du violoncelliste. Cette 
seconde machine est équipée du logiciel mViaCam, qui est une application développée par 
l'informaticien César Mauri. 

Ce logiciel a été spécifiquement développé pour le projet EMSTI (Figure 3.14). La caméra en 
réseau envoi les données issues du geste au logiciel mViaCam. L'Ordinateur n°2 retourne, via un 
câble MIDI vers la carte DSP, des données qui auront été traitées préalablement. Ces données 
étant relatives au geste instrumental, aux positions et à la vélocité de la main tenant l'archet dans 
les coordonnées cartésiennes X et Y (Figure 3.15). Ces informations sont aussi destinées au 
patch Max/MSP de l'Ordinateur n°l (Figure 3.16). 
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Figure 3.12 : Interface graphique du patch qui traite l'information. 
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Figure 3.13 : Sub-patch qui permet la récupération des données d'amplitude sonore provenant du 

microphone. 
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Figure 3.14 : Fenêtre du logicielle mViaCam par laquelle le surveillant peut visualiser le 
mouvement et la captation du geste de la main qui soutient l'archet du violoncelle. 
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Figure 3.15 : Subpatch qui permet de récupérer et de comprendre les données provenant du 
logicielle mViaCam. Position et vitesse du mouvement de la main de l'archet dans les axes 

cartésiennes X et Y. 



111 




Figure 3.16 : Le surveillant et son dispositif informatique. L'information audio et gestuelle du 
violoncelle servent à produire la musique électronique. 



- Le moteur et le son résultant du SMI : Le moteur de génération sonore est complexe et divers. 
Mon objectif était d'utiliser la plupart des objets Max/MSP et des applications de génération 
sonore utilisée dans le projet relatif aux handicapés EMSTI. Tout en procédant à un mélange de 
nombreux traitements sonores, le projet revendique un développement plus avancé et une plus 
grande complexité sonore et musicale que le projet EMSTI. 

. Section 1 : modulation en anneau, modulation de phase, modulation d'amplitude, feedback, 
flanger, oscillateurs, échantillons sonores (Figure 3.17). 

. Section 2 : enregistrement et reproduction en temps réel du son du violoncelle, synthèse FM, 
son "noise", chorus, filtres (Figure 3.18). 

. Section 3: patch renoiser de Max/MSP, delay avec changement de pitch, lignes de retard 
contrôlées par enveloppes avec changement de pitch, échantillons sonores (Figure 3.19). 

. Section 4: Échantillons sonores (Figure 3.20). 

. Section 5: Échantillons sonores, synthèse granulaire, (Figure 3.21). 
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Figure 3.18 : Section 2 
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Figure 3.19 : Section 3 
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Figure 3.20 : Section 4 
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Figure 3.21 : Section 5 



- La mise en correspondance du SMI : les différents traitements que le moteur du patch de 
surveillance incorpore disposent de certains paramètres qui sont fixes, d'autres qui sont 
automatisés (déclenchés par le surveillant), et enfin d'autres encore qui dépendent du geste ou du 
son du violoncelliste. Par dépendance, il s'agit en réalité du contrôle de l'instrumentiste. En 
raison de la nature de la programmation et de la composition d'un espace sensible au geste, dans 
certains cas, le geste instrumental est bien délimité, clair, direct donc évident, et, dans d'autres 
cas, il est moins circonscrit, diffus, indirect et donc moins évident. Dans les deux cas, il sert à 
produire le son électronique désiré. 



La mise en correspondance est de nature divergente. 
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. Section 1: 

Modulation en anneau, modulation de phase, modulation d'amplitude, feedback : ces traitements 
sont automatisés. 

Flanger : Certains paramètres du Flanger sont automatisés et d'autres sont contrôlés en fonction 
de la position verticale et horizontale de l'archet du violoncelliste. 

Oscillateurs : contrôlés par la position verticale de l'archet. 

Échantillons sonores : Quelques-uns sont lancés de façon automatique et d'autres en fonction de 
l'amplitude sonore du violoncelle. 



. Section 2: 

Le contrôle de l'enregistrement et de la reproduction en temps réel du son du violoncelle est 
réalisé par la vitesse et la position de l'archet et par l'amplitude du son de l'instrument. 

Le son FM et noise est automatisé. 

L'interpolation entre les différents presets de synthèse FM est contrôlée par la position verticale 
de l'archet. 

Chorus : il est automatisé. 

Filtres : ils sont automatisés. 

. Section 3 : 

Renoiser : contrôlé par la position horizontale de l'archet du violoncelle. 

Delay avec changement de pitch : automatisé. 

Lignes de retard contrôlées avec des enveloppes qui configurent des changement de pitch: 
Automatisé. 
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Échantillon sonore: automatisé. 



. Section 4: 



Échantillons sonores : Contrôlés par l'amplitude du son du violoncelle. La dynamique du jeu du 
violoncelle va déclencher un type de son ou un autre. Ceci permet de créer un jeu de nature 
interactive entre les amplitudes de l'instrument et la partie électronique. 



. Section 5: 

Échantillons sonores : déclenchés de façon automatique. 

Synthèse granulaire du son du violoncelle: Contrôlée par la vitesse horizontale, verticale et la 
position horizontale de l'archet. 

Le mixage de sons lancés automatiquement avec le traitement par synthèse granulaire du son du 
violoncelle: Contrôlé par la position verticale de l'archet. 

- Partition du SMI et ou partition instrumentale : la partition présente plusieurs numéros qui 
indiquent, à la personne qui est l'ordinateur et qui joue le rôle de surveillant, à quelle moment on 
dois lancer les différentes configurations. L'oeuvre présente donc une double nature. D'une part, 
dans les sections 1, 2, 3 et 5, nous avons une écriture musicale narrative et linéaire. Et d'autre 
part, dans la section quatre, apparaît une façon différente d'organiser le matériau musical. Surgit 
alors une autre temporalité et un autre espace interactif. Dans cette quatrième section, le 
violoncelliste explore un espace sensible en fonction des intensités de son jeu instrumental. Cette 
section est composée de cinq sous-sections qui doivent être consécutives. À l'intérieur de chaque 
sous-section, une série de gestes musicaux se suivent dans une forme libre, avec ordre et tempo 
"ad libitum". 

À l'intérieur de cette section, le violoncelliste prend en main la construction de la structure et du 
déroulement temporel de la pièce. La seule contrainte imposée à l'instrumentiste consiste à 
suivre scrupuleusement les dynamiques et nuances ainsi que les notes déterminées. 
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Pour passer d'une sous-section à une autre, un signal sonore dans la partie électroacoustique 
indique au musicien à quel moment il doit passer à la sous-section suivante (Figure 3.22). 
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Figure 3.22 : L'instrumentiste doit choisir l'ordre des fragments devant être joués et les 

enchaînes, tout en explorant le rapport entre son geste qui résulte de dynamiques variées. Le 

résultat sonore conditionne la partie électroacoustique. 
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3.2.4 Peintures sonores espectacle interactiu dramatic, Densités et Peintures sonores musica 
generativa 

- Contexte de l'oeuvre : trois projets sont présentés ici conjointement car ceux-ci revêtent 
certaines caractéristiques communes. 

1 - Peintures sonores espectacle interactiu dramatic (2006) et Peintures sonores musica 
generativa sont (2007) deux projets qui sont directement issues d'une création antérieure, 
Peintures Sonores - vingt improvisations avec SAMPLER-WAV sur la peinture d'Araceli Rubi, a 
été exposée plus avant. 

Dans cette dernière, le travail sur la granularité du son trouve une continuité dans les deux 
compositions mentionnées dans ce chapitre. 

La production artistique vers laquelle tend le travail dans son ensemble repose sur le principe de 
la réutilisation et de la transformation d'éléments communs entre une création et une autre. 

Il y a donc réalisation de versions multiples d'une même pièce ou le recyclage du matériau pour 
une autre création. 

Faut-il simplement voir la multiplicité des stades de transformation comme autant de versions 
actualisées d'une pièce en évolution, qui n'aurait aucune finitude ? Faut-il au contraire 
différencier les propositions musicales comme étant plutôt des variantes d'un possible 
compositionnel, dont toutes les options seraient autant de chemins réalisés ? 

Il semblerait que poser la question d'une création perpétuelle, à partir d'une constante 
régénération du matériau, face écho à l'idée qu'il y aurait une infinité d'approches, parmi 
lesquelles il serait possible de souligner ou de faire se dégager de nouveaux aspects qui 
n'auraient pas été explorés ou exploités à un stade antérieur. Plus simplement, l'expérimentation 
d'un même projet musical dans un autre format contextuel modifie sensiblement et apparemment 
sa nature. 

2 - Peintures sonores espectacle interactiu dramatic est un projet de Carmen Platero, artiste 
visuel et multimédia avec qui j'ai pu travailler à maintes reprises. Ce projet a été créé pour un 
concert au Festival LEM de musique expérimentale de la ville de Barcelone (Espagne). 
Peintures sonores musica generativa a pris forme dans un autre format, identique à la pièce 
Peintures Sonores - vingt improvisations avec SAMPLER-WAV sur la peinture dAraceli Rubi. 
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. Densités et Peintures sonores musica generativa sont deux projets attachés à la présente 
recherche et qui marquent l'intérêt pour des installations sonores qui produisent des 
compositions électroniques à partir de fonctions aléatoires. 



- Description de l'oeuvre : 

1 - Peintures sonores espectacle interactiu dramatic : pièce électronique et visuelle avec SMI 
d'une durée approximative de vingt-trois à vingt-quatre minutes. Il s'agit de la construction d'une 
expérience esthétique à propos d'une réflexion sur l'existence, dont la relation dramatique entre 
le corps humain et l'être en tant que tel est mise à nu. 

Le transfert de données audionumériques vers une application à l'image en symbolise l'apparente 
dualité, dès lors qu'il existe un flux continu de données entre les deux éléments. 

Bien entendu, cette dualité n'existant pas, l'espace temporel dramatique fait référence au tout, à 
l'unicité du corps, à l'être unique, par conséquent à l'oeuvre unique fragmentée. 

L'être est dans le changement continu et dans l'évolution permanente. Il y a un élément intérieur 
qui ne saurait être fixé, perpétuel, qui demeure instable et qui se modifie continuellement. Le 
corps contient et est le conteneur de l'être : le volume. C'est un élément unique qui se situe dans 
le changement constant, car du point de vue de la biologie moléculaire, les êtres vivants ne sont 
pour ainsi dire jamais les mêmes, ni les humains les mêmes personnes au cours de leur vie. 
L'idée d'une mort et d'une résurrection permanente n'est pas si loin. 

Sur le même principe, la biologie du cerveau constitué de neurones et de connexions change 
constamment. Le corps est aussi la salle du concert où se déroule la pièce, et est l'espace où toute 
l'action est réalisée. Tous les éléments inscrits à l'intérieur de la salle sont des éléments 
constituants du corps, qui apparaît fragmenté mais qui, en même temps, forme bien le leitmotiv 
par lequel toute l'action est articulée. Le corps sert ici à représenter la fragmentation de la pensée. 
Le corps est finalement le support idéal pour représenter l'angoisse de l'être humain qui s'impose 
à lui. Le corps fragmenté est à l'image du labyrinthe, il symbolise l'impossibilité de construire un 
portrait de la globalité. Ainsi la peau apparaît que comme la surface et pose la frontière, la limite 
entre l'extérieur et l'intérieur du corps. La peau elle-même fait penser à un résonateur de l'être et 
du corps. 
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C'est comme un fil conducteur où serait véhiculée l'expression dramatique. La peau serait 
comme une image superficielle de l'angoisse intérieure. 

L'intérieur : La musique, le volume. Il est le véhicule de l'expression qui s'écoule. Il y a quelque 
chose de viscéral. 

Extérieur : La peau, l'image. Le superficiel, l'apparent, le reflet de l'intérieur, l'être attrapé. 

Ainsi, entre la partie sonore et la partie visuelle, un transfert continu de données permet la 
transformation en temps réel de la performance, ce qui est appelé communément un spectacle, ou 
un concert audio-visuel (Figure 3.23). Celui-ci est spatialement distribué selon un réseau de 
plusieurs haut-parleurs, répartis sur l'ensemble de la salle, et ceux-ci simulent le changement et 
le mouvement à l'intérieur de l'être. 




Figure 3.23 : Une première personne a pour fonction la production sonore et une seconde 
personne a pour fonction la réalisation de la partie visuelle à partir des transferts de données 

audionumériques. 



Dans Peintures sonores espectacle interactiu dramatic, l'utilisation des SMI se borne à la 
génération d'un matériau électronique en temps différé postérieurement utilisable dans une 
situation de concert. 

2 - Densités (2008) et Peintures sonores musica generativa sont deux installations sonores avec 
SMI. Les patches respectifs programmés dans l'environnement Max/MSP autorisent les 
fonctions aléatoires de déclencher la lecture de fichiers audio selon les configurations spatiales 
requises, stéréo ou octophoniques, et en fonction du lieu. 
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Densités met en exergue l'idée qu'un espace de densification du son peut être omniprésent. Le 
travail est donc articulé autour d'un espace d'écoute où la complexité d'une superposition de 
trames sonores se révèle. 

Le patch Max/MSP contrôle cent quatre-vingt-dix fichiers audio et les organise en temps réel. 

En certaines occasions, se produisent des superpositions qui suggèrent une apparente structure, 
ou parfois s'opposent ou sont simplement contradictoires. 

Le public est laissé à lui-même, il entre dans le jeu de se laisser porter à la création d'images 
mentales à partir des sons proposés. 

L'idée est d'avoir un grand espace avec un orchestre de haut-parleurs où le spectateur peut entrer 
et sortir à sa convenance. 

L'installation ne propose pas une écoute de concert, mais au contraire une écoute subit et furtive, 
qui se fonde sur l'instantanéité. 



3 - Peintures sonores musica generativa : un substrat à la fois théorique et perceptif. 

L'aspect émotionnel de cette installation provient de la contemplation de certains courants 
picturaux abstraits, tel que l'art informe (sans forme), ou encore dans la veine de l'action 
painting. 

Grâce aux moyens déployés dans cette installation sonore et aux diverses images picturales tirées 
de textures rugueuses et granulaires, une pièce électronique en temps réel est finalement 
réalisée. 

Les textures visuelles suggèrent des trames et des réseaux sonores qui mettent en place des 
structures à partir d'unités minimales de son. 

Ces unités minimales se rattachent les unes aux autres pour construire des éléments plus grands, 
et ainsi de suite, jusqu'à créer diverses strates superposées. 

Le patch Max/MSP coordonne l'information en temps réel pour laisser se déployer un flux 
continu de textures fondées sur des relations aléatoires. Le processus d'itération de structures 
uniques et distinctes basées sur une structure initiale fixe est augmenté par une seconde couche 
sonore qui est produite en temps réel. 
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- Le SMI: il a été conçu selon un modèle polarisé proche du modèle score-driven Systems, à la 
réponse répétitive et au modèle interprète. Le SMI à été conçu en tant que modèle d'interactivité. 

1 - Pour la pièce Peintures sonores espectacle interactiu dramatic deux SMI sont conçus. 

Programmé dans l'environnement Max/MSP, un premier SMI sert à la création du matériau en 
temps différé (Figure 3.24) qui sera utilisé ultérieurement. Le SMI consiste en un patch qui 
charge les fichiers audio, transforme les contenus audio, ici de type granulaire, et qui fait le lien 
parmi les multiples fichiers audio qui ont des durées très courtes. 

Les différentes séquences sonores ont leur caractère et leur temporalité propres. Les contenus 
audio comportant des éléments graves ont été obtenus par un jeu de percussion sur notre propre 
corps. 




Figure 3.24 : Interface graphique du patch qui permet de créer les fichiers audio servant pour la 

pièce de concert. 



Les contenus granulaires effectués avec le premier patch Max/MSP, auxquels s'ajoutent les 
fichiers audio de la pièce Peintures Sonores - vingt improvisations avec SAMPLER-WAV sur la 
peinture d'Araceli Rubi, alimentent les possibilités sonores du SMI qui sera utilisé pour le 
concert. 
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Le SMI est constitué d'un ordinateur avec un patch Max/MSP et un clavier-contrôleur MIDI. Le 
SMI a pour fonction de collecter l'information MIDI en provenance du clavier-contrôleur, de 
produire le résultat sonore de l'interaction. Les données sont assignées au patch PureData en tant 
que variables. Le patch a pour fonction la réalisation de la partie visuelle. 

2 - Dans Densités (Figure 3.25) et Peintures sonores musica generativa le SMI est équipé d'un 
ordinateur sur lequel est chargé un patch (Figure 3.26). Les patch programmés sous Max/MSP 
sont écrits à l'aide de fonctions aléatoires pour le déclenchement des différents fichiers audio 
stockés. 
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Figure 3.25 : Interface graphique de Densités. Cette interface nous permet de charger les sons et 

de visualiser chacune des huit sorties. 
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Figure 3.26 : Ci-dessus, un sub-patch qui permet de déclencher de façon aléatoire chacun des 

fichiers audio. 



3 - Peintures sonores musica generativa est un cas particulier où le patch Max/MSP a pour 
fonction le déclenchement conjoint d'une partie fixe et l'activation des fonctions aléatoires sur le 
réservoir de fichiers audio de la pièce Peintures Sonores - vingt improvisations avec SAMPLER- 
WAV sur la peinture d'Araceli Rubi. 

Toujours à l'aide d'une fonction aléatoire [random], le patch calcul une valeur d'étirement ou de 
compression temporelle pour tous les contenus audio (Figure 3.27). 
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Figure 3.27 : Sub-patch qui calcul une valeur d'étirement ou de compression temporelle pour 

chacun des contenus audio. 



- Le système de captation sonore et le système de captation du geste physique du SMI : 

1 - Pour la pièce Peintures sonores espectacle interactiu dramatic, Max/MSP produit la totalité 
des sons, il n'y a donc pas de système de captation externe. 

Un clavier-contrôleur MIDI interagit avec les traitements (Figure 3.28) et envoie certaines 
données vers le patch PureData dédié au traitement de l'image en temps réel (Figure 3.29). 
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Figure 3.28 : Interface graphique pour visualiser les éléments interactifs mis enjeu à partir du 

clavier-contrôleur MIDI. 
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Figure 3.29 : Ci-dessus, contrôle des variables assignées au traitement de l'image en temps réel 
en utilisant les environnements Max/MSP et Pure Data. 
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2 - Dans Densités et Peintures sonores musica generativa aucun système de captation n'est 
utilisé. L'ensemble des processus de génération sonore est exclusivement issu de la computation, 
sans source externe. 



Le moteur et le son résultant du SMI 



1 - Dans Peintures sonores espectacle interactiu dramatic, les fichiers audio et les séquences 
granulaires produites avec le premier patch Max/MSP alimentent le SMI. Il s'agit de sons de 
percussion créés à partir du corps humain, qui rappellent la chose organique. Tous ces sons sont 
traités par différents types de synthèse sonore, comme la synthèse granulaire. Ces derniers sont 
mélangés et mixés en temps réel avec les sons de la pièce Peintures Sonores - vingt 
improvisations avec SAMPLER-WAV. Un réseau de petits haut-parleurs fragmentent la 
perception spatiale des sons, qui, à la manière de la circulation sanguine, se répandent à travers 
toute la salle (Figure 3.30). 




Figure 3.30 : Quelques-uns des petits haut-parleurs, placés dans la salle. 
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2 - Dans Densités et Peintures sonores musica generativa, plusieurs fichiers audio sont 
déclenchés par une fonction aléatoire qui remplit un espace d'écoute très dense, même si les sons 
deviennent très différents. La différence entre les deux installations réside dans le fait que dans 
Peintures sonores musica generativa nous avons une texture, une partie fixe qui est toujours la 
même, alors que les fichiers audio appelés de façon aléatoires façonnent cette texture. 



- La mise en correspondance du SMI : 

1 - Peintures sonores espectacle interactiu dramatic utilise le clavier-contrôleur MIDI pour 
lancer des presets de paramétrage des différents traitements en temps réel. De multiples 
paramètres et nombre de variables demandent, pour être efficace, être contrôlés. La mise en 
correspondance est donc de type divergente. 

2 - Dans Densités et Peintures sonores musica generativa, les fonctions aléatoires de type 
[random] déclenchent une mise en correspondance unitaire des fichiers audio nécessaires à la 
réalisation sonore. 



- Partition du SMI et/ou partition instrumentale : la partition du SMI est constituée par les mises 
en relation possibles entre les contrôleurs et le moteur de chaque SMI. C'est de ces mises en 
relation que va dépendre la particularité et la sonorité de chaque pièce. Elles désignent la 
partition virtuelle, telle qu'elle sera perçue en situation de concert ou dans une installation. 
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3.2.5 Impulsos 

- Contexte de l'oeuvre : issue de mon travail de compositeur et d'interprète au sein de l'Ensemble 
de compositeurs de musique expérimentale de Paris, «Mûsica Clandestina», Impulsos est une 
pièce instrumentale pour quatre interprètes, composé en 2011. 



- Description de l'oeuvre : dans Impulsos, la partition graphique est produite en temps réel par le 
SMI. La pièce est conçue selon un concept à mi-chemin entre une pièce de musique et une 
installation sonore. 

Le propos du travail réside essentiellement sur la transformation de l'énergie sonore acoustique, 
d'un environnement sonore déterminé, en énergie provenant du paradigme instrumental, donc 
causal. Une métaphore se présente naturellement, issue de l'idée d'une décodification de la 
réalité. Pour aller dans le sens de cette proposition, il faut admettre que toute source sonore est 
valable. Pour réaliser ce projet, un microphone est placé de façon arbitraire (à l'intérieur de la 
salle ou même à l'extérieur dans la rue), de telle sorte que l'on puisse saisir une situation 
quelconque, en captant des sources variées (des gens qui parlent, le bruit de la rue, un récitant, un 
musicien). Le contenu est analysé par un SMI qui nous propose alors une séquence graphique 
qui sert de support ayant un rôle similaire à une partition compréhensible pour quatre 
instrumentistes. 



- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle Score-driven Systems, 
du modèle à réponse changeante-générative et au modèle interprète. 



Le modèle d'interactivité semble plus évident pour cette proposition de SMI. 

Le SMI a pour charge de traduire la réalité sonore selon l'enveloppe d'amplitude et la fréquence 
du son d'entrée dans le système. Le son d'entrée est divisé en quatre bandes de fréquences 
ajustables. De cette façon, le SMI créera la partition graphique pour chaque musicien. Chaque 
musicien devra choisir un seul mode de production sonore pour le jouer avec son instrument. Un 
seul objet sonore très bref et plutôt bruité. 
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- Le système de captation sonore et le système de captation du geste physique du SMI : un 
microphone placé quelque part de façon arbitraire, mais éloigné de la scène, devra capter un 
enivrement sonore au toute sorte de source (Figure 3.31). Il faut que l'auditoire puisse voir 
arriver le câble comme un symbole de communication entre la source sonore d'origine et la 
transduction instrumentale. 

Jean Gagés i Rubl Paris 201 1 
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Figure 3.31: Le patch ci-dessus permet le contrôle du gain en entrée. 



- Le moteur et le son résultant du SMI : dans ce SMI, il n'y a aucun générateur de son 
électronique. Le son est acoustique et le SMI ne sert qu'à la stimulation et aux possibilités qu'il 
puisse y avoir un contrôle par les musiciens qui jouent en temps réel. 



Le son résultant est un mixage entre le son capté en temps réel et le son joué par les 
instrumentistes (Figure 3.32). Entre ces deux sources sonores, il y aurait un temps de décalage 
qui permet aux auditeurs de comprendre de quelle manière le son d'origine est traduit par le son 
instrumental. 
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Figure 3.32 : Chaque instrument est amplifié en vue d'un mixage avec la source en entrée. 
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- La mise en correspondance du SMI : la mise en correspondance est de type unitaire. L'objet de 
Max/Msp [analyzer] nous permet de récupérer la fréquence du son en entrée. Cette fréquence est 
traduite en valeurs MIDI, réparties ensuite en quatre groupes (Figure 3.33). Un accès séparé pour 
chaque groupe, sur l'interface du patch (Figure 3.34), est organisé comme suit : le groupe un 
concerne les valeurs de fréquences graves, le groupe deux les valeurs de fréquence médium 
grave, le groupe trois les valeurs de fréquence médium aigu, et enfin le groupe quatre les valeurs 
de fréquence aigu (Figure 3.35). Le SMI permet aussi récupérer l'amplitude du son en entrée et 
ainsi avoir une deuxième dimension pour l'écriture en temps réel de la partition graphique 
(Figure 3.36). 
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Figure 3.33 : L'objet [analyser] récupère le son en entrée et il retourne les valeurs MIDI à l'un 

des quatre groupes. 
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Figure 3.34 : Ici on choisit les valeurs MIDI qui vont déclencher un signal sonore à destination 

de chaque instrumentiste. 
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Figure 3.35 : Sub-patch du SMI qui permet le contrôle de l'amplitude en entrée. 



- Partition du SMI et ou partition instrumentale : la partition est fait une représentation graphique 
de la fréquence et de l'amplitude du son en entrée. 

Celle-ci consiste en quatre bandes ou les valeurs sont désignées comme des impulsions que les 
instrumentistes doivent interpréter. 

Chaque musicien doit choisir une des quatre bandes. Les valeurs apparaissent sur le côté droit de 
la fenêtre de Max/MSP et la lecture se fait de façon inhabituelle de droite à gauche. 

Quand la lecture arrive à terme, c'est-à-dire complètement à gauche, le musicien doit intervenir 
avec son instrument seul (Figure 3.36). 



135 



,jll 



IJI ■ 



u.lLil „,„ ,iiii.. Iliili i 



Figure 3.36 : Partition graphique avec les quatre bandes de fréquence et amplitude que chaque 

musicien doit jouer. 
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3.2.6 Le Labyrinthe 

- Contexte de l'oeuvre : une collaboration commune, dans le cadre d'une résidence de création en 
2010, entre Léa Postil de l'École de Beaux- Arts d'Annecy et Cyrille Arnd du CRR de Paris a 
permise la réalisation de l'installation sonore Le Labyrinthe. En tant qu'installation sonore 
interactive, le travail repose sur un système de captation du geste qui interagit avec des objets 
physiques producteurs de sons. 



- Description de l'oeuvre : Le Labyrinthe est une installation sonore qui propose à l'utilisateur un 
espace de recherche et d'écoute qui repose sur l'idée initiale du principe du labyrinthe. La 
métaphore du labyrinthe a favorisé la conception d'une installation qui consiste en la 
matérialisation d'un espace physique où l'on est à même de chercher des sons avec une lampe de 
poche, l'on doit en quelque sorte chercher son chemin. Pour ce faire, l'espace physique proposé, 
le lieu, est plongé complètement dans l'obscurité. Des objets, conçus et stylisés par Léa Postil, y 
sont placés à différents endroits. Ces objets inertes sont n'ont pas de fonction interactive, mais 
produisent du son. Différentes méthodes de production et de morphologies sonores sont utilisées, 
qui interagissent avec la partie électroacoustique: 

. Un objet contient une radio à bas volume qui invite le visiteur à introduire sa tête dans un trou 
pour écouter le son. 

. Un autre objet métallique sous le sol permet de jouer avec les propres sonorités métalliques de 
l'objet, en marchant sur lui. 

Nous avons aussi préparé différentes zones interactives, muni de capteurs de lumière. Le visiteur 
parcourt l'ensemble du lieu et tente de trouver les sons cachés. Un patch Max/Msp est dédié à la 
collecte des valeurs des intensités lumineuses que les capteurs reçoivent de la lampe de poche. 
L'installation propose en fait deux parcours différents selon que ce soit l'obscurité ou non. Quand 
la lumière est éteinte, le système opte, de façon aléatoire, pour l'une des deux options de 
parcours possible, lesquels sont animés de séquences sonores qui leur sont propres. Alors que le 
parcours obscur met en avant des sonorités instables qui ont pour but une certaine désorientation 
du visiteur, le parcours avec lumière propose des sonorités plus évidentes, caractérisées par une 
lourdeur et une dureté (Figure 3.37). 
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- Le SMI : en relation aux trois types de polarités qui confortent les paradigmes et les modèles de 
classification, ce SMI a été conçu selon les modèles polarisés suivants: le modèle de 
performance-driven Systems, le modèle à réponse changeante-générative et le modèle instrument. 

Le SMI à été pensé réellement comme modèle d'interaction, et est constitué de l'ordinateur et des 
capteurs de lumière placés entre les objets et la salle. Peuvent être inclus comme parties 
intégrantes du SMI les capteurs de lumière placés dans différentes zones de l'espace physique de 
l'installation. Ces capteurs délivrent au patch Max/MSP les informations relatives à l'intensité 
lumineuse provenant de la lampe à poche. Le SMI reçoit les informations arrivant du contrôleur 
et impulse une réponse sonore. 
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Figure 3.37 : Schéma de l'installation. 



- Le système de captation audio et le système de captation du geste physique du SMI : 
L'utilisateur parcourt, muni de sa lampe de poche pour découvrir les régions interactives qui 
produisent du son. Les différentes zones interactives actuellement munies de capteurs de lumière 
sont réparties comme suit: 

. Zone 1: espace fermé par un rideau, où l'on cherche à évoquer une sensation de claustrophobie. 
Un capteur de lumière y est dissimulé. Le mouvement de la torche électrique modifie 
sensiblement une séquence sonore dont les caractéristiques évocatrices sont liées à l'idée 
d'asphyxie. 
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. Zone 2: des capteurs de lumière dissimulés sur un mur modifient une séquence sonore 
relativement abstraite, invitant ainsi l'utilisateur à chercher, à bouger dans cette région de 
l'installation. 

. Zone 3: cette troisième zone fait office d'espace clos, qui consiste en une grande boîte où le 
visiteur peut entrer et s'asseoir parmi des coussins. Par ses propres mouvements à l'intérieur de la 
boîte, le visiteur forme des ombres qui font varier l'intensité lumineuse. Ces variations sont 
enregistrées par un capteur placé à l'intérieur, intervenant et modifiant ainsi le timbre d'une 
séquence sonore plus intimiste et de nature réflexive. 

- Le moteur et le son résultant du SMI : chacune des trois zones dispose de son propre haut- 
parleur. Cette délimitation sonore permet à l'utilisateur de différencier clairement chaque zone. 
Ainsi chacune des zones dispose de deux séquences sonores composés en studio et caractérisées 
en fonction des notions subjectives suivantes: 

asphyxie, étouffement /// déplacement, questionnement /// intimiste, réflexive 

Lorsque le visiteur entre dans l'installation et éteint la lumière, le système opte, de manière 
aléatoire, pour l'une des deux séquences attribuée à chaque zone. Le matériel utilisé au départ, et 
qui produisent du son pour la création des séquences sonores sont des objets non interactifs 
façonnés par Léa Postil. Une modification des séquences sonores préenregistrées est effectuée 
sur les qualités liées au timbre, à l'aide de traitements audio tels que Flanger, Chorus, ou Delay, 
dès lors que le patch Max/MSP reçoit les information provenants du capteurs. 

- La mise en correspondance du SMI : en fonction de l'intensité lumineuse reçue, une 
interpolation entre plusieurs presets de traitement audio est réalisée. En raison du contrôle 
multiple de variables assignées aux traitements audio et aux différents presets entre lesquels le 
contrôle s'opère, le type de relation interactive relève ici d'une mise en correspondance 
divergente. 

- Partition du SMI et /ou partition instrumentale: la partition du SMI est constituée par 
l'ensemble des éléments du SMI, dans leur mise en correspondance avec l'installation. Celle-ci 
permet une exploration de l'espace, dont l'enjeu est la sensibilité à la lumière. 
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3.2.7 Totpixelant 

- Contexte de l'oeuvre : cette oeuvre, composé en 2009, surgit d'une recherche fondée sous une 
double volonté. La volonté d'explorer d'autres types de notation musicale graphique. Selon les 
situations de concert, l'interprétation et l'écoute se distinguent et varient. La volonté d'explorer 
les possibilités des SMI pour la génération de partitions et de situations de concert se révèlent 
être un sujet intéressant. 

- Description de l'oeuvre: pièce électroacoustique, d'une durée approximative de cinq minutes, 
pour piano et électronique avec SMI. Cette pièce surgit de l'idée de pixels, de grains, de gouttes 
d'eau, d'impulsions, de coups de percussion, etc.... 

Le piano, complètement étouffé, se convertit en instrument qui ne peut qu'émettre des sons 
évoquant l'idée de pixels, avec des attaques sèches de différents timbres, des scintillements, 
etc.... 

De la même manière, l'électronique, produite et contrôlée par le SMI, complète le son du piano 
puisque sur chaque attaque du piano le système répond en construisant virtuellement, 
électroniquement la continuation du son du piano avec des sons divers. 

Le réel et le virtuel se complète mutuellement et construisent un instrument hybride, 
perceptivement à mi-chemin entre réalité et virtualité. Le piano construit une pluie d'attaques, de 
pixels qui sont repris par l'électronique pour construire les groupes isolés d'énergie, formant des 
images sonores abstraites. Le discours semble être relativement statique malgré une mobilité 
constante, est construit sur la perception de l'instant , ici et maintenant. Le piano doit être préparé 
en plaçant sur la table d'harmonie de l'instrument une couverture de manière à empêcher toute 
résonance, mais en conservant une différence notable entre les hauteurs. Seules les touches 
aiguës du piano seront étouffées au maximum, sans possibilité de discriminer des hauteurs. La 
pédale tonale serait, pendant toute l'oeuvre, en position enfoncée, de façon à laisser en 
permanence une vibration des attaques. Le son obtenu fait penser à une sonorité de bois. 
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- Le SMI: le SMI a été conçu selon les modèles polarisés du type score-driven Systems, le 
modèle qui donne une réponse répétitive et le modèle d'interprète. 

Il a été conçu et selon un modèle d'interactivité où l'action de l'utilisateur ne dépend pas 
complètement du résultat sonore perçu. 

Le SMI génère en temps réel la partition graphique. Celle-ci peut être stylisé selon deux modes 
différents. Soit à partir de l'analyse en temps réel d'un fichier audio stocké à l'ordinateur (le 
contenu du fichier audio doit être de nature granulaire, fait d'attaques ou de sons brefs 
identifiables comme des pixels de son). Soit à partir de l'analyse en temps réel du son en entrée. 
Dans les deux cas, une partition graphique défile sur un écran, accessible visuellement au 
pianiste et au public. 

Cette partition graphique est constituée d'impulsions, d'attaques brèves de différentes intensités 
que le pianiste doit respecter et lire pendant que la partition est générée. Des fichiers audio sont 
indirectement déterminés par les actions du pianiste en fonction des attaques, et en construisant 
un discours en fonction du geste d'amplitude sonore produit par l'instrumentiste. 



- Le système de captation sonore et le système de captation du geste physique du SMI : si on 
utilise comme source, pour créer la partition graphique, le son extérieur qui entre à l'ordinateur, 
d'un microphone placé quelque part ou il sera possible de récupérer du son est nécessaire. 

Si un fichier audio est utilisé pour produire la partition, aucun système de captation n'est requis. 
Dans les deux cas, l'objet de Max/MSP [analyzer] analyse l'ensemble des fréquences 
significatives de la source utilisée. 

Un suivi d'enveloppe du son du piano en temps réel contrôle, avec l'amplitude des fichiers audio 
de la partie électronique. Un lien se fait entre les attaques du pianiste et l'électronique, dès lors 
contrôlée par l'amplitude de l'instrument. 

- Le moteur et le son résultant du SMI : le moteur de génération sonore est constitué de deux 
buffers. Le système, lorsqu'il détecte une attaque, détermine de façon aléatoire une lecture d'un 
fichier audio d'une durée maximale d'une seconde, parmi 170 fichiers. 
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Le système aussi le numéro d'index, en même temps, d'un ou deux fichiers. Le son résultant est 
un nouvel instrument constitué d'attaques étouffées du piano plus des sons brefs et agressifs de 
l'électronique. 



- La mise en correspondance : pour la génération de la partie électronique; chaque attaque de 
piano tire un ou deux sons du réservoir de fichiers (Figure 3.38). L'amplitude du son du piano 
contrôle l'intensité de l'électronique. Pour la génération de la partition graphique on utilise les 
fréquences résultants de l'analyse du son d'entré ou de la séquence stocké à l'ordinateur. Dans 
tous les cas les fréquences sont divisés et envoyés vers quatre zones qui comprennent les quatre 
registres (Figure 3.39). La mise en correspondance est basé sur un type de mise en 
correspondance unitaire. 



"Tôt pixlenat a Sandgren o la irlHja" (piano y electronica - SMI) 
Joan Bagés i Rubi_ Paris_2009 
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Figure 3.38: Le bang de couleur jaune nous indique que le SMI à détecté un attaque du piano. 
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Figure 3.39: Les valeurs MIDI correspondants à des hauteurs sont récupérées et envoyées vers le 

registre de fréquences correspondantes. 



- Partition du SMI et ou partition instrumentale : la partition graphique consiste en quatre zones 
d'action du piano que l'interprète doit choisir. Chaque frange horizontale de la partition, 
construite en temps réel, représente une des quatre zones du registre de l'instrument. La frange 
du bas concerne le registre grave de l'instrument et chaque frange supérieure représente une du 
registre jusqu'aux extrêmes aigus. À l'intérieur de chaque zone, une série d'impulsions 
d'intensité se présentent : le pianiste doit traiter les impulsions qui apparaissent dans chaque zone 
de la partition graphique selon leur largeur. 

Ces impulsions représentent l'intensité du geste à exercer sur chaque note. À l'intérieur de chaque 
zone, l'interprète peut jouer la note qu'il désire. Les impulsions apparaissent sur le côté droit de 
l'écran, défilent de droite à gauche. Lorsqu'elles parviennent au bord gauche, c'est à ce moment 
que le pianiste doit en tenir compte (Figure 3.40). 
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Figure 3.40: Partition graphique avec les quatre franges d'impulsions sonores selon l'analyse de 

fréquences. 
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3.2.8 Espaces et chemins et OverEspacesCheminsPrinted 

- Contexte de l'oeuvre : OverEspacesCheminsPrinted et Espaces et chemins sont deux pièces 
composées en 2009 qui proviennent de mes différentes collaborations en tant que compositeur 
avec l'Ensemble BPM75 de Paris. Ces pièces constituent un mixage et une nouvelle lecture de 
compositions antérieures. Le quatuor instrumental Printed Over plus la pièce électroacoustique 
«Espaces et Chemins à l'Intérieur d'un Carré», pour quatuor et électronique, sont les éléments de 
base de la pièce "OverEspacesCheminsPrinted". 



- Description de l'oeuvre : pièce d'une durée de 10 minutes. Deux groupes instrumentaux sont 
distribués dans l'espace. Un premier groupe, constitué d'une flûte, d'une trompette, d'un 
violoncelle et d'un piano, est situé sur la scène. Un second groupe, composé d'une flûte, d'une 
clarinette basse, d'un basson et d'un violon est placé autour du public. L'objectif étant ici de 
mettre en confrontation, dans un même projet de composition, différents types d'écritures. 

En effet, le premier groupe lit une partition à notation conventionnelle (Figure 3.41) tandis que le 
deuxième groupe interprète deux types différents de partitions graphiques. Dans un premier 
temps les musiciens du groupe 2 interprètent une partition inventée selon une codification 
apprise (Figure 3.42), et dans un second temps une autre partition, générée par un patch 
Max/MSP cette fois-ci, est soumise aux instrumentistes. 

L'édition de cette seconde partition est réalisée à partir d'une analyse de sons restitués en temps 
réel dans la partie électronique (Figure 3.43). Ces deux types de partitions sont projetées 
visuellement dans la salle de concert, afin d'être visible pour l'ensemble des musiciens. 

On notera que l'auditoire peut également voir ces graphismes, ce qui produit une attente et un jeu 
sur la perception. Un patch Max/MSP, qui constitue le SMI, gère toute l'information relative à la 
partie électronique. 



- Le SMI : en relation aux trois types de polarités des paradigmes et des modèles de 
classification, ce SMI à été conçu selon le modèle polarisé de type score-driven Systems, le 
modèle de réponse répétitive et le modèle d'interprète. 
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Ce SMI est basé sur un modèle qui fait appel à l'interactivité : les actions de déclenchement des 
événements ne dépendent pas de notre perception du résultat sonore obtenu. 

Ce SMI, qui a deux fonctions, est constitué d'un patch Max/MSP. Il a pour première fonction le 
déclenchement des fichiers audio de la partie électronique, et pour seconde fonction la 
production d'une partition graphique à partir des sons électroniques. Les sons entendus dans la 
partie électronique sont composés en studio et classés dans le patch selon leur durée propre 
(d'une à quatorze secondes). 



- Le système de captation sonore et le système de captation du geste physique du SMI : dans ces 
pièces, il n'y a pas de système de captation sonore ou système de captation du geste physique. Il 
y a en revanche un programme, sous forme de partition, qui a pour fonction la production une 
réponse du système. 



- Le moteur et le son résultant du SMI: un réservoir de fichier audio de différentes durées et de 
caractère variés sont déclenchés en temps réel selon une partition événementielle. 



- La mise en correspondance du SMI: les événements temporels déclenchés en suivant la 
partition, grâce aux fonctions random, déterminent les moments précis de chaque son de la pièce. 
La mise en correspondance est de type unitaire. 



- Partition du SMI et/ou partition instrumentale : la partition du SMI est configurée par des 
événements temporels qui sont déclenchés grâce à une programmation informatique 
prédéterminée. 

Le premier groupe instrumental joue une partition à notation conventionnelle. 

Le deuxième groupe instrumental joue deux partitions graphiques qui défilent sur une projection 
visuelle: 
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. Une des deux partitions est constituée d'une codification de nature à renseigner les 
instrumentistes sur une échelle relative des hauteurs. Cette codification indique également une 
intensité relative et des attaques propres à chaque son, sur les modes de jeu à employer, ainsi que 
sur les moments précis où les occurrences temporelles doivent être placées. Les débuts et fins de 
chaque intervention instrumentale obéissent à des indications précises. 

. Un patch Max/MSP analyse en temps réel le contenu de fichiers audio utilisés pour la partie 
électronique dans le but de générer une partition graphique. Cette deuxième partition indique aux 
musiciens à quel instant celui-ci doit intervenir et selon quel type d'attaque, quelle intensité et 
quelle gamme de notes. 



OverEspacesCheminsPrinted 

Joan Bagés i Rubi 
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Figure 3.41: Le premier groupe instrumental joue une partition avec notation graphique 

conventionnelle. 
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Figure 3.42 : Fragment de la partition graphique interprétée par le deuxième groupe 

instrumental. 
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Figure 3.43 : Partition graphique produite, pour le deuxième groupe instrumental, par un patch 
Max/MSP à partir de l'analyse de plusieurs fichiers audio qui sont joués, en temps réel, dans la 

partie électronique. 
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3.2.9 Transducciôn Electrônica et Transductions Mixtes 



Transductions Mixtes et Transducciôn Electrônica sont deux pièces qui font partie d'une 
recherche en composition musicale sur une idée de «partition sonore». 

Le but est de procéder à une interprétation artistique basée sur l'idée de transduction. Il s'agit, 
concrètement, de «transformer» l'énergie électroacoustique en énergie acoustique au moyen de 
l'instrument mécanique. [À la différence du principe acoustique, il s'agirait ici d'une sorte de 
transduction contenant une information intentionnelle et qui ferait relation entre la restitution 
électroacoustique et l'interprétation instrumentale]. 

Chaque instrumentiste est équipé d'oreillettes utilisées pour percevoir les sons et les séquences 
sonores composées en studio. Alors que des sons isolés ou les séquences, relativement 
complexes, sont diffusés au travers des oreillettes, l'instrumentiste écoute dans un premier temps 
le contenu musical, puis procède à une étape d'imitation des morphologies sonores et des 
différents timbres qui lui sont instrumentalement accessibles. Le but n'étant pas une restitution à 
l'identique, ce qui serait à la fois trivial et impossible, c'est l'interprète qui doit trouver une 
inspiration dans l'information délivrée. 

L'instrumentiste est libre de choisir, parmi les sons ou séquences entendues en temps réel, sur 
quels paramètres il souhaite intervenir dans son propre champ instrumental. Ces paramètres 
comprennent les hauteurs perçues, les variations rythmiques, ainsi que d'autres caractéristiques 
par exemple liées à la granularité. 

Il y a une traduction subjective qui caractérise un moment musical, en quelque sorte configuré 
par le son entendu. De plus, il y a la possibilité de se limiter à intervenir sur un seul paramètre du 
son, ou encore de se focaliser sur une quelconque caractéristique propre à un son particulier. 

Le choix du paramètre doit être différent à chaque son ou séquence entendue, et le choix du 
paramètre peut aussi être changé pendant l'interprétation d'un son. 

La seule consigne que l'interprète doit absolument respecter c'est de commencer à jouer quand il 
entend le son et de ne pas jouer quand le son entendu sur les oreillettes s'est arrêté. En même 
temps, il doit écouter les autres musiciens pour choisir un autre paramètre du son entendu. 
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En définitive, la partition sonore c'est pour moi une façon de composer la structure d'une 
improvisation dirigée, contrôlée. Il s'agit pour l'instrumentiste d'évoluer dans une situation 
d'écoute très active où de nombreuses décisions doivent être prises. J'ai développé l'idée de 
partition sonore dans plusieurs pièces avec ou sans SMI. Par la suite je vais exposer les pièces où 
le SMI prend certaines décisions pour envoyer ou construire le discours de l'improvisation 
sonore et musicale. 

- Contexte de l'oeuvre : 

. Transductions Mixtes à été composé en vue d'une création au Festival MAS de Paris, organisé 
pour le Collective d'Artistes Trafic de Paris et le Théâtre du Petit Miroir d'Issy-les-Moulineaux. 
Transductions Mixtes est une pièce pour flûte, violon, guitare et musique électronique. 



. Transducciôn Electrônica est une commande de l'ensemble LEMC (10), composée à Buenos 
Aires en 2010 pour un ensemble instrumental de quatre musiciens. L'ensemble LEMC explore de 
nouvelles formes musicales contribuant ainsi à de nouvelles manières d'approcher la musique 
contemporaine. Du point de vue de la création en public, l'ensemble LEMC propose de nouvelles 
perspectives en matière d'écoute musicale en concert, et favorise une approche de 
l'interprétation qui recherche la nouveauté. En effet, les musiciens qui composent cet ensemble 
montrent un intérêt marqué pour l'improvisation et les nouvelles formes de relations possibles 
entre l'interprète, le public, l'oeuvre et l'espace de concert. 



- Description de l'oeuvre : 

. Transductions Mixtes est une pièce pour flûte, violon, guitare et électronique crée à partir de 
quatre séquences sonores composées en studio. Trois de ses quatre séquences éditées en 
monophonie sont diffusées de façon aléatoire aux instrumentistes et la quatrième séquence, en 
stéréophonie, est restituée indépendamment des premières via les haut-parleurs. 

. Transducciôn Electrônica est une pièce électroacoustique pour quatre musiciens, articulée en 
trois moments bien différenciés, sous forme de sections déterminées. 



10. Ensemble LEMC de Buenos Aires: ( http://www.lcmc.com.ar ) 
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Figure 3.44 : Instrumentistes avec auriculaires. 



- Le SMI : 

. Dans Transductions Mixtes, le SMI actionne et assigne de façon aléatoire chaque séquence en 
monophonie aux différents instrumentistes. Dans le même temps, une quatrième séquence audio 
en stéréophonie est délivrée via les haut-parleurs comme séquence électronique. 

Chaque interprétation de l'oeuvre est nécessairement différente en raison du caractère aléatoire 
des rapports entre séquences et instrumentistes, ainsi que des événements indéterminés auxquels 
participe l'assistant musical. En effet, le patch qui constitue le SMI doit être déclenché par un 
assistant musical. 



. Dans Transducciôn Electrônica un programme sous forme de patch graphique en Max/MSP 
déclenche sans limitation de temps (Ad libitum) un certain nombre de fichiers audio et de 
séquences sonores diffusés au moyen d'écouteurs posés sur les jambes des instrumentistes 
(Figure 3.44). Perçus par les auditeurs comme venant de loin, des sons parviennent 
progressivement à extinction de façon non synchrone. Le silence finalement obtenu indique aux 
interprètes le moment de fixer et d'ajuster leurs écouteurs. Composées en studio, quatre 
séquences fixes aux durées déterminées constituent la deuxième section de la pièce. Le patch 
Max/MSP adresse, de façon ad libitum, chacune des quatre séquences aux quatre instrumentistes. 
Nous avons, présents devant l'ordinateur, la possibilité d'arrêter la séquence d'envoi des fichiers 
audio à tout moment, et d'assigner une même séquence sonore à tous les interprètes, de telle sorte 
qu'il soit possible de créer un effet de simultanéité entre eux (Figure 3.45). 
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La troisième section met justement en évidence ce principe lorsque le programme assigne 
effectivement un même son aux quatre instrumentistes, qui s'éteindra toujours de façon 
progressive. Les actions à réaliser entre deux moments sonores, précisément lors des durées de 
silences, donc libres de projections audibles par les écouteurs, consistent à imiter par le chant le 
son entretenu et entendu précédemment ou à prononcer à voix haute: «Transducciôn de energia 
eléctrica a energia acûstica». Le SMI permet un contrôle en temps réel du matériau sonore, et ce 
pour les trois sections qui composent la pièce. Les éléments sont distribués aux instrumentistes 
(Figure 3.46). 
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Figure 3.45 : Le patch ci-dessus montre trois parties distinctes qui correspondent aux trois parties 

formelles de la pièce. Un assistant musical prend soin de charger les fichiers son qui devront être 

appelés ultérieurement. La partie centrale de l'interface (section2) permet le déclenchement des 

fichiers audio qui seront assignés simultanément aux instrumentistes dans l'intention de créer un 

effet de synchronie. 
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Figure 3.46 : Les quatre interprètes ainsi qu'un assistant musical (moi-même) pour le contrôle du 
SMI lors de l'envoi de fichiers audio, contribuant ainsi aux actions entreprises et aux décisions 

musicales. 



- Le moteur et le son résultant du SMI : 

. Dans Transductions Mixtes, les séquences sonores sont distribuées de telle sorte qu'elles 
paraissent intriquées, mais suffisamment articulées entre elles pour rendre compte d'une certaine 
intelligibilité pour l'auditeur. 

La compréhension d'une intention musicale passe par un travail sur la perception, qui 
reconstitue, ou plutôt construit, les mouvements entre haut-parleurs et instruments, d'une matière 
sonore qui se transforme progressivement. 

L'objectif étant la recherche de l'émergence d'un réseau de relations perçu, qui formera autant 
d'espaces renouvelés à chaque écoute. 



. Dans Transducciôn Electrônica, les quatre séquences composées en studio et évoquées plus 
haut ont été construites à partir d'éléments provenant d'un précédent travail, la pièce 
acousmatique « Atomizaciôn Electrônica ». Suffisamment complexes et riches pour permettre 
aux instrumentistes de choisir sur quel élément ils devront intervenir, les sons induisent un 
comportement instrumental conscient et intentionnel. 
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3.2.10 La distinction entre interactivité et interaction musicale 

Il s'agit d'étudier la différence entre des pièces reposant sur des modèles interactifs et celles 
proposant une relation d'interaction. 



Sujet sous 
question(s) 



forme de 



- Quelle situation interactive est 
la plus pertinente à mettre en 
oeuvre, l'interactivité ou les 
interactions ? Peut-on faire 
l'évaluation ou apprécier la 
pertinence d'un SMI pour se 
déterminer dans le choix des 
situations d'interactivité ou 
d'interaction en fonction du 
contexte ? 

- Peut-on parler d'art dans le 
cas de l'interactivité ? 



- Comment se produisent les 
processus de compréhension et 
de différentiation réalisées par 
l'utilisateur et par l'auditeur ? 
S'agit-il de situations 

interactives ou de situations 
d'interaction ? 



Explication du sujet 



Étudier, en fonction des cas, 
laquelle des deux relations 
(interactive ou d'interaction) est 
la plus appropriée. 



Pièce(s) 



l'Heure Bleue : la partition du 
SMI est composée à la fois des 
relations interactives et des 
relations d'interaction, en 
fonction des besoins musicaux 
et du contrôle exigé par les 
différents moments de la pièce. 



Étudier le degré de Le type de relation interactive 

conditionnement de la qualité ne conditionne pas la qualité 
musicale, en fonction du choix d'une pièce, mais plutôt la 
entre une relation d'interactivité variété, l'originalité et la 
et une relation d'interaction. pertinence de ses différentes 

possibilités interactives. 



Étudier si la compréhension de 
l'auditeur lui permet de 
différencier entre une pièce 
fondée sur des processus 
d'interactivité et une autre 
reposant sur des processus 
d'interaction. 



Die Eingefangene Geste 
(Annexe), De los hadrones a la 
consciencia (Annexe), Quarks 
blaus (Annexe) et La Chambre 
noire : ces pièces ont recours à 
des relations interactives très 
basiques, permettant au système 
de déclencher des événements 
prédétermines et figés. 
L'auditeur peut aisément 
comprendre que le choix de ce 
type de relation est dû aux 
besoins de synchronisation entre 
la partie instrumentale et la 
partie électroacoustique. 
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3.2.11 L 'heure bleue ...juste avant l'aube il y à une minute de silence... 

- Contexte de l'oeuvre: L'heure bleue est une pièce réalisée aux studios Césaré (19) à Reims dans 
le cadre de compositeur résident en 2011. Cette pièce à été aussi possible grâce à une bourse de 
Création de la "Generalitat de Catalunya". Pour composer cette pièce j'ai travaillé avec la 
saxophoniste Helena Coronel, processeur de saxophone au CRR de Reims. 



- Description de l'oeuvre: L'heure Bleue est une pièce électroacoustique pour saxophone alto et 
électronique avec SMI. L'idée de cette pièce provient d'une vision personnelle du film "4 
aventures de Reinette et Miravelle" (1987) du réalisateur français Eric Rohmer. 

Dans ce film, un élément que j'ai trouvé susceptible d'être exploré musicalement, la 
contraposition et le dialogue entre la vie urbaine et la vie à la campagne, se pose comme dualité 
m'a suggéré deux mondes sonores qui sont aussi très présents dans le film. 

L'agitation et la multiplicité des discours et des narrations de la vie urbaine et l'apparente 
tranquillité de la vie à la campagne. Ces mondes sonores sont traduits dans ma pièce par des 
sonorités et des articulations musicales très précises. A niveaux formelle ces mondes sonores 
sont intercalés pour faire bien explicite cette double nature jusqu'à l'imposition, vers la fin de la 
pièce, d'un passage qui est plus porche de sonorités et d'articulations musicales que on pourrais 
associé au paysage sonore de la campagne. 

Un paysage qui à son tour, présente une certaine transformation du matériau sonore qui nous 
interpelle sur la fausse tranquillité de la campagne. Pour développer ces idées j'ai travaillé avec 
la saxophoniste Helena Coronel. J'ai réalisé plusieurs prises de son pour enregistrer et tester 
différents modes de production sonore qu'il me convenaient pour cette pièce. Une fois j'avais 
tous les matériaux nécessaires j'ai construit la forme et un discours musical selon mon idée à 
communiquer. 

- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle Score-driven Systems, 
à réponse changeante-générative et du modèle instrumental. 
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Le SMI a été conçu comme un double modèle. Dans certaines parties, la pièce fonctionne selon 
une logique interactive, où l'instrumentiste active certains événements, et dans autres parties, la 
pièce fonctionne selon un modèle qui relève de l'interaction, où les événements activés par 
l'instrumentiste permettent un feedback entre son action et le résultat sonore perçu. 

Le SMI est pensé comme une extension du couple instrument-interprète, c'est-à-dire comme une 
prolongation du champ instrumental. Loin de présenter l'instrumental et l'électronique comme 
deux natures typiquement distinctes, le travail a consisté à éviter toute opposition ou dialogue 
mutuel. A contrario, l'écriture musicale fait apparaître un aspect unifié, comme s'il ne s'agissait 
que d'un seul objet producteur de son, disposant de plusieurs facettes. Dans sa globalité sonore, 
le saxophone peut apparaître intercalé. 

-Le système de captation sonore et le système de captation du geste physique du SMI: Un 
microphone aérien est disposé devant l'instrumentiste, ce qui nous permet de récupérer le son du 
saxophone. L'interprète a à sa disposition une pédale servant au déclenchement des séquences 
composées en studio. Elle permet en outre l'activation de traitements audio en temps réel sur les 
paramètres du son du saxophone (Figure 3.47). 




Figure 3.47: L'interprète devant la partition et le système de captation du son. 
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Figure 3.48: Dans le subpatch ci-dessus, un sélecteur permet l'activation consécutive ou 
simultanée de messages qui déclenchent la lecture des échantillons sonores correspondants. 



- Le moteur et le son résultant du SMI : le moteur du patch Max/MSP est composé de trois 
éléments fonctionnels: les échantillons sonores (Figure 3.48), les lignes de retard avec variation 
de hauteur (pitch) (Figure 3.49) du son du saxophone. Le son est modifié au moyen du subpatch 
[renoiser] (Figure 3.50), la synthèse granulaire (Figure 3.51), et les délais avec changement 
linéaire dupitch à chaque répétition du delay (Figure 3.52). 



11. Césaré: f http://www.cesare-cncm.com/ ) 
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Figure 3.49 : Lignes de retard avec changement du pitch. 
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Figure 3.50 : Sub-patch renoiser 
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Figure 3.51 : Synthèse granulaire crée au CICM de l'Université Paris 8. 
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Figure 3.52 : Délais avec changement linéal du «pitch» à chaque répétition du délai. 



La combinaison des sonorités du saxophone, des échantillons et des différents traitements 
produit une pièce dotée d'une richesse sonore intéressante. Une évolution se produit à partir 
d'une sonorité relativement mécanique, forte et stridente, pourvue de timbres variés, en allant 
progressivement vers une sonorité plus proche du saxophone, pour s'orienter finalement vers une 
sonorité beaucoup plus bruitée : Sons soufflés et sons granulaires, très organiques et évoquant 
des coulées de sable, des bruissements de terre, des grouillements d'insectes. 
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- La mise en correspondance du SMI : la mise en correspondance est basée sur un type de mise 
en correspondance unitaire. 

Une mise en correspondance entre le geste du saxophoniste et la production sonore peut être 
décrite en ces termes : Les échantillons et les traitements audio, sous forme de preset, sont 
déclenchés à l'aide d'une pédale, sous la responsabilité de l'interprète. Ce dernier lit une 
incrémentation événementielle indiquée sur la partition pour chaque intervention. 

Les lignes de retard avec changement de hauteur (pitch), puis le subpatch [renoiser], la synthèse 
granulaire et les délais avec changement linéaires du pitch, modifient le son initial de 
l'instrument. Les processus liés à l'écriture du programme sont composés et ne sont pas 
dépendants des paramètres extérieurs. 

Les valeurs de contrôle sont, dans certains cas, écrites et prédéterminées. Dans d'autres cas, ces 
paramètres sont uniquement dépendantes des valeurs en sortie d'une fonction [random]. 

- Partition du SMI et ou partition instrumentale : la partition du saxophone est sous forme de 
notation graphique créée à partir de séances de travail avec Helena Coronel. C'est en partant de 
plusieurs modes de production sonore et de séquences composé dans l'environnement Protools, 
que la structure de la pièce a été organisée. 

Une session Protools a été utilisée pour disposer les événements et occurrences sonores, les 
objets qui devront être interprétés par le saxophoniste. 

Par la suite, la représentation sous formes d'onde des séquences, grâce à une capture de l'image 
de la session Protools, a permit de construire la partition (Figure 3.53). 

Au début de chaque séquence est indiqué précisément quel mode de production sonore doit être 
joué. La forme d'onde a pour but de donner une référence temporelle, une idée de l'amplitude et 
des articulations musicales enregistrées. 
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Figure 3.53 : Partition du saxophone. 
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3.2.12 La chambre noire 

- Contexte de l'oeuvre: La chambre noire à été composé en 2009 dans le cadre du Cycle de 
Perfectionnement en Composition Musicale au CRR de Reims. Cette pièce à été crée par la 
violoniste japonaise Saori Furukawa de l'Ensemble L 'instant Donné de Paris. 

- Description de l'oeuvre: La chambre noire est une pièce électroacoustique pour violon et 
électronique (SMI) pensée pour être joué tel un duetto. Dans cette perspective, un second 
interprète, qui contrôle la partie électroacoustique à partir de l'ordinateur, complète le duo avec le 
violoniste. 

L'oeuvre propose une recherche approfondie du violon en tant qu'espace physique à parcourir. 
Un lieu où gestes et sons divers permettent la mise en sons d'une multitude de configurations 
gestuelles et de résonances inhabituelles. 

Deux plans sonores sont mis en valeur dans ce travail : un premier espace altéré par 
l'amplification du violon, qui véhicule des sonorités de nature sales et bruiteuses, et un second 
espace comportant des notes rapides dont le contenu fréquentiel peut être aisément discriminé. 
La diapositive électroacoustique nous permet alors un dialogue entre les deux textures sonores, 
de nature différentes, voire opposées. C'est par une écoute très attentive, et une sensibilité 
exercée à la manière d'une exploration fine de toutes les perspectives et de tous les lieux 
possibles à l'intérieur d'une même chambre, que la pièce prend tout son sens. 

- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle Score-driven Systems, 
du modèle répétitif et du modèle interprète. 

Le SMI active le processus électroacoustique qui doit être mis en place à chaque moment de la 
partition et il ne dépend pas du jeu de l'instrumentiste, en conséquence il est plus proche du 
modèle lié à l'interactivité que de l'interaction. 

Le SMI nous permet de créer un espace réverbérant d'aspect lointain. Au violon, les séquences 
sont essentiellement constituées de notes rapides, par conséquent, le contenu fréquentiel permet 
une discrimination aisée des hauteurs. Les premières minutes de chaque section de la pièce sont 
enregistrées en temps réel à destination de l'interprète, à l'ordinateur. Ces éléments sonores sont 
partiellement reproduits à des endroits indiqués de la partition du violoniste pour créer ainsi une 
seconde dimension ou perspective d'écoute. 
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- Le système de captation sonore et le système de captation du geste physique du SMI : le violon 
dispose d'un microphone qui nous permet d'amplifier, de filtrer et d'enregistrer le son du violon. 
Tout en suivant le violoniste, l'interprète, à l'aide de certaines touches du clavier numérique, 
déclenche les séquences de captation et enregistre scrupuleusement selon les indications de la 
partition. À certains moments déterminés seulement, la séquence indiquée autorise un 
l'enregistrement. 

- Le moteur et le son résultant du SMI : l'objet [groove-], bien connu des utilisateurs de 
MaxMSP, est l'un des constituants essentiels du moteur du patch. Destiné à l'enregistrement de 
séquences audio externes, ici le son du violon, [groove-] est agrémenté d'une représentation de 
la forme d'onde, disponible à l'aide d'un autre objet très usité, [waveforme-]. 

Le canal de restitution du violon amplifié est mixé de façon usuelle avec un canal réverbérant, 
produisant ainsi un contraste entre le son direct et le son réverbéré. On notera que les séquences 
instrumentales sont enregistrées lors de la performance. 

D'autre part, les séquences sont reproduites à faible amplitude pour favoriser la sensation d'un 
espace à plusieurs dimensions. 



- La mise en correspondance du SMI : la mise en correspondance est de type unitaire. Les 
interventions sont relativement simples, puisque l'assistant musical lance l'enregistrement de la 
séquence en fonction des indications de la partition à l'aide de la barre d'espace du clavier. La 
touche d'entrée [enter] active la reproduction aléatoire d'une partie de l'enregistrement. Enfin, 
différents segments du contenu du [buffer-] sont lus en fonction d'action à reproduire et 
précisément indiquées dans la partition. Pour cela, l'assistant musical utilise encore la barre 
d'espace qu'il actionne plusieurs fois de suite. Les zones de lecture des séquences enregistrées en 
temps réel sont alors renouvelées à chaque intervention de celui-ci (Figure 3.54). 
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Figure 3.54: Interface graphique qui permet à l'interprète du SMI, placé devant l'ordinateur, de 
visualiser les accès dont celui qui permet l'activation de l'enregistrement du son ou de sa 

reproduction. 

- Partition du SMI et /ou partition instrumentale: La partie instrumentale qui doit être interprétée 
par le violoniste est synchrone avec les indications qui permettent l'activation de l'enregistrement 
(Record) et de la reproduction sonore (On - Off) (Figure 3.55). 
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Figure 3.55: Partition avec les indications de Record et On - Off. 
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3.2.13 La distinction entre instruments numériques et instruments traditionnels 

Les pièces incluses dans cette catégorie représentent un travail sur l'élargissement du 
concept d'instrument de musique numérique. La notion de l'ultramedia importée dans l'univers 
des SMI a permis de réfléchir à la création des outils physiques. Ceci a conduit naturellement à 
ce que des interfaces physiques alternatives deviennent parties intégrantes du SMI. Dès lors 
qu'un système composite, totalement configurable, fonctionne de manière à se présenter comme 
un système dont certaines caractéristiques font émerger des tendances comportementales qui 
rappellent les systèmes autonomes, on constate que l'ensemble est de nature à être plus que la 
somme de ses constituants. 

Intégrer des contrôleurs alternatifs a une incidence significative sur l'ensemble des éléments 
musicaux. 

Les contrôleurs alternatifs imposent de rester très clair et concis dans le choix des 
paramètres manipulés avec l'interface. Quelles seront les autres entrées informationnelles ? 
L'automatisation, les algorithmes aléatoires ou l'organisation événementielle sont-ils déterminés 
par une influence des contrôleurs ou bien est-ce le contraire ? 

Le point intéressant au sujet des SMI est le suivant : ils doivent permettre l'exploration et 
l'expérimentation sonores. Grâce au geste physique, et parce que la richesse du système dépend 
principalement des mises en correspondance entre variables d'entrée et paramètres de contrôle, 
les SMI deviennent expressifs. 



Sujet sous 
question(s) 



forme de Explication du sujet 



- L'usage des SMI et des 
lutheries numériques 

conditionne-il la 

composition musicale ? 
Quelles seraient les 

particularités auxquelles 

porter attention ? 



Étudier comment on peut 
composer et écrire avec et 
pour ces nouveaux outils. 



Pièce(s) 



Wetback : dans cette pièce, le 
SMI devient un instrument 
musical, déclenchant des 
séquences musicales 
calculées en temps réel en 
fonction d'une partition 
ouverte. 
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- Si le monde analogique des 
instruments de musique a 
permis la généralisation de 
l'instrumentation et de 
l'orchestration et ainsi créer 
un répertoire, les spécificités 
des SMI varient 

constamment le répertoire, 
les moyens de diffusion, et 
pose la question de la 
pérennité des œuvres. 



Étudier l'impact de cette 
nouvelle lutherie et de la 
musique avec des SMI sur le 
concept d'oeuvre musicale, 
ainsi que sur la pérennité et 
la reproductibilité dans le 
temps de celle-ci. 



Càlida Construccio 1.0, 
Càlida Construccio 1.2, 
Deux Poissons Japonais et 
Atomizaciôn Electrônica 
(Annexe) : le SMI devient un 
instrument, traitant et 
manipulant des sons et des 
séquences sonores, en vue 
d'une composition à temps 
différée, grâce à l'utilisation 
de contrôleurs MIDI . 

Peintures Sonores — vingt 
improvisations et Under 
Code patch (Annexe) : dans 
ces pièces, le SMI devient 
l'instrument et l'outil de la 
réalisation d'une pièce 
électronique improvisée en 
situation de concert. 

Intersections Bouel- Wav 
2. : le design d'un 
contrôleur alternatif se 
transforme en un défi pour la 
composition et l'écriture 
d'une pièce électroacoustique 
mixte pour basson et 
électronique. 

StatisticalLive (Annexe), 
Dones d'aigua (Annexe), 
Aquifere (Annexe) : les 
pièces/installations sont 
configurées par le système de 
captation du geste par caméra 
web et les relations 
composées à l'intérieur d'un 
patch Max/MSP. 
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3.2.14 WetbackPD 

- Contexte de l'oeuvre: Wetback PD a été composé en 2005 dans le cadre d'études en Master 
d'Arts Numériques en Musique (12) à l'Université Pompeu Fabra à Barcelone, en Espagne. C'est 
en collaboration avec le compositeur mexicain Ivan Tadeo Ireta, à partir de son oeuvre Wetback, 
pour piano et électronique, que la pièce Wetback PD a été écrite, et qui a pu être créé à 
l'Université Pompeu Fabra. 

- Description de l'oeuvre : contrôlée et produite à l'aide d'un SMI, Wetback PD est une pièce 
électronique d'une durée de 12'29" minutes. Il est à noter que la partie électronique de la pièce 
originale est conservée. 

En revanche, la partition originale de la partie du piano est une partition ouverte composée de 
plusieurs séquences ou groupes de notes de différentes durées et de dynamique variée. 

Ces séquences ou groupes de notes doivent être interprétés en faisant un choix délibéré sur 
l'ordre dans lequel les groupes doivent être enchaînés. La partie électronique étant 
temporellement déterminée avec une durée immuable, des repères temporels sont utilisés comme 
marqueurs. Ceux-ci donnent une indication précise de la durée à laquelle doivent être réalisés les 
séquences et groupes de note au piano. De cette façon, une synchronisation se réalise en fonction 
de la fixité du support électronique et des choix de l'interprète. Dans Wetback PD, la partie de 
piano est interprétée et générée en temps réel par le SMI. 



- Le SMI : le SMI a été conçu selon un modèle d'interactivité qui tient compte des modèles 
polarisés du type score-driven Systems, le modèle de réponse changeante-générative et le modèle 
d'interprète. 

Il est basé sur un modèle plus proche de l'interaction que de l'interactivité car l'utilisateur exerce 
une action selon la relation action - perception, en fonction de l'interaction avec les séquences et 
groupes de notes choisies. 



12. Master d'Arts Numériques en Musiques de la Université Pompeu Fabra de Barcelone: ( http://creaciodigital.upf.edu/madll 
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Ce SMI est constitué d'un clavier numérique, d'une souris connectée à un ordinateur, un 
programme Pure Data que nous intitulons patch (10). 'Le patch a en charge de : 



. Déclencher la partie électronique fixe. 

. Recevoir les informations qui arrivent du contrôleur. 

. Générer avec une fonction random (11), l'ordre des notes et des accords inclus dans chaque 
formant. 

. Laisser à l'interprète le choix de l'ordre des formants, de leur dynamique et de leur tempo 
pendant le jeu en directe sur l'ordinateur. 

Plusieurs séquences ou groupes de notes peuvent être réalisés, à l'inverse de la version originale 
(Figure 3.56), de façon simultanée, puisque les limitations physiques d'un interprète ne 
s'appliquent pas dans une situation où c'est le SMI qui «joue» les fragments. 



L'interprète doit interagir, tout en respectant les séquences ou groupes de notes inscrites pour 
chaque section, avec sa propre écoute et l'environnement sonore produit par la séquence 
électronique. Celui-ci sélectionne les formants qu'il veut déclencher et choisit leur dynamique et 
leur tempo, en utilisant les seuls contrôleurs mis à disposition. 



13. Patch ei sub-patclr. Pd documents are called "patènes" or "canvases." Each open document has one main window and any number of sub- 
windows. The sub-windows can be opened and closed but are always running whether you can see them or not. 
( http://crca.ucsd.edu/-msp/Pd_documcntation/x2.htm ) 

14. Fonction random: Une fonction arbitraire est une fonction choisie au hasard parmi une collection finie de fonctions. 
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Figure 3.56: Partition originale de Wetback avec plusieurs formants en le l'OO" et le 3 '00". 



■ Le système de captation sonore et le système de captation du geste physique du SMI : 
Dans cette pièce, il n'y a pas de prise de son, et aucun système de captation n'est prévu. 

La souris. 

Les touches du curseur. 



- Le moteur et le son résultant du SMI : le moteur est constitué d'un buffer qui nous permet de 
lire la partie électronique fixe, et de plusieurs sub-patches qui délivrent, sous forme de message, 
quelles sont les notes qui doivent être jouées dans chaque formant. Le son obtenu mixe la partie 
électronique fixe et les notes jouées par le programme. La qualité sonore du résultat dépend 
directement du type de synthétiseur utilisé. 
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- La mise en correspondance du SMI : 

. Les différents bangs (15) sont les impulsions qui déterminent le début de chaque séquence ou 
groupe de notes, par une action à l'aide de la souris. Une fonction random détermine l'ordre des 
notes pour chaque formant. 

. Une mise en correspondance de type unitaire permet que le volume sonore des formants 
dépende des correctifs apportés par une manipulation du curseur. 

En appuyant sur la flèche vers le haut le volume augmente, sur la flèche vers le bas, il diminue. 

. Le tempo de reproduction des notes de chaque séquence ou groupe de notes est contrôlé aussi 
par le curseur, dont la mise en correspondance est de type unitaire. En appuyant sur la flèche 
gauche, le tempo accélère, sur la flèche droite le tempo décélère. 



- Partition du SMI et/ou partition instrumentale : la partition du présent SMI est l'ensemble des 
séquences musicales composées et envoyées en temps réel, accessibles grâce à l'interface 
graphique. Cette interface nous permet de lancer les séquences ou groupes de notes écrites dans 
la partition originale ; ce sont les séquences ou groupes de notes que l'on doit scrupuleusement 
respecter lors de l'interprétation. L'interface nous permet de les organiser dans une suite 
d'événements temporels libres tout en respectant les durées indiquées. 



15. Bang: est un type de message dans Pure Data pour initier des événements et des données. 
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3.2.15 Calida Construccio, Calida Construccio 1.1 et Deux Poissons Japonais 

- Contexte des oeuvres : ces pièces sont envisagées dans la perspective d'une réutilisation de 
sons et de séquences sonores générées en situation de concert électronique, afin d'en extraire un 
matériau capable d'être la matrice d'une pièce acousmatique future. 

Les SMI représentent donc un intérêt pour la création ultérieure. 

Par exemple, dans la pièce Peintures sonores espectacle interactiu dramatic, le matériau sonore 
qui avait été produit précédemment par les SMI à l'aide de contrôleurs gestuels est façonné pour 
orienté l'écriture vers une esthétique gestuelle, dynamique et articulée. 

. Deux poissons Japonais Acousmatiques (2008) est une pièce existant en différentes versions, 
toutes composées lors de mes études avec le compositeur français Gilles Racot. 

. Calida Construccio 1.0, et les versions suivantes Calida Construccio 1.1 et 1.2 sont des pièces 
initialement composées en 2007 et 2008 dans le cadre du DEM de composition électroacoustique 
au Conservatoire de Pantin (classe de Christine Groult). 

Le principe qui consiste à élaborer une série de versions d'une même pièce peut être envisagé 
comme l'exploration d'un espace musical. Il s'agit peut-être moins de versions successives qui 
remplaceraient la précédente, mais bien de différentes vues ou possibles compositionnels qui 
semblent se justifier d'eux-mêmes. 

En abordant un même sujet de départ et en utilisant un matériau identique, des caractéristiques 
propres et différenciées apparaissent néanmoins. Ceci est une méthode de composition 
développée au travers de nombreuses compositions du catalogue. 

- Description de l'oeuvre : en raison du projet qui consiste à ce que l'ensemble des pièces avec 
SMI puisse configurer les pièces acousmatiques, des objets sonores très différents y sont 
finalement élaborés. 



. Pour Calida Construccio, de nombreuses séquences sonores ont été fabriquées à partir de 
l'enregistrement de sources naturelles utilisant des matières telles que papier, carton, bois, 
plastique, etc.. Calida Construccio a une durée d'environ treize minutes. 
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. Deux Poissons Japonais, d'une durée d'environ trente minutes, à été composé à partir une idée 
plus instrumentale où le geste musical est à la source de la matière sonore. Les sons 
instrumentaux de percussion et de guitare ont été enregistrés pour cette raison, tout comme les 
sons électroniques produits en temps réel. 



- Le SMI: le SMI a été conçu selon un modèle polarisé proche des modèles du type 
performance-driven Systems, à réponse changeante-générative et au modèle instrumental. Le 
SMI à été conçu comme modèle d'interaction. Deux patches Max/MSP (Figure 3.57) ont été 
écrits ainsi qu'un patch avec l'application Reaktor (Figure 3.58), de manière à traiter tous les 
sons. Les SMI sont constitués d'ordinateurs sur lesquels sont chargés les patches Max/MSP et 
Reaktor (Figure 3.108), ainsi que leurs contrôleurs. 

Le SMI permet de: 

. Visualiser la forme d'onde du son à transformer 



. Choisir les traitements à appliquer 

. Récupérer les données du contrôleur pour les envoyer au moteur. 
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Figure 3.57: Patch Max/MSP de la pièce Deux Poissons Japonais Acousmatiques . 
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Figure 3.58 : Patch Reaktor de la pièce _Dewx Poissons Japonais Acousmatiques . 

- Les systèmes de captation sonore et de captation du geste physique du SMI : la souris de 
l'ordinateur et le clavier MIDI pour contrôler les différents types de traitements. 



- Le moteur et le son résultant du SMI : les patches offrent des possibilités de traitements et de 
modifications du contenu audio du fichier stocké. (Figure 3.59) 

Traitement sonore 

Feedback visuel du peste de traitement produit'au davier-contrôleur 
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Enregistrer le résultat 
Figure 3.59 : Patch de Càlida Construccio avec les valeurs de traitements. 
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Après le chargement d'un fichier audio, il est possible de choisir sa vitesse de lecture. De même, 
le fichier est soit lu en totalité soit de façon segmentaire, où un fragment peut être reproduit en 
mode boucle. 

Les patches permettent la production d'un signal électronique à partir d'un banc d'oscillateurs, 
d'une forme d'onde rectangulaire, triangulaire, scie, par modulation de fréquence, ou encore 
générer une fonction aléatoire de type [random] pour sélectionner les formes d'ondes. 
L'enveloppe spectrale de la synthèse et la distorsion spectrale peuvent être appliqués en temps 
réel. Les patches offrent les traitements suivants : amplitude de modulation, flanger, chorus et 
granulation, il permettent en outre le chargement d'un traitement VST - GRM Tools, 
réverbération, pour procéder à des convulsions entre deux objets sonores, des delays, 
harmonizers etfreeze. 



- La mise en correspondance du SMI : la souris de l'ordinateur et les potentiomètres, touches et 
boutons du clavier-contrôleur MIDI (Figure 3.60) permettent une interaction avec les différentes 
valeurs du contrôle du moteur. Tous les paramètres sont accessibles avec les contrôleurs, il faut 
néanmoins prédéfinir quelle sera la mise en correspondance entre variables de contrôle et les 
variables des traitements. 

La mise en correspondance peut-être unitaire, c'est-à-dire qu'une variable de contrôle est 
associée à une seule variable de traitement. De même, il est possible de regrouper plusieurs 
variables du moteur devant être toutes contrôlées par une seule variable de contrôle. 

Par exemple, on peut choisir la taille du fichier en actionnant les touches du clavier-contrôleur 
MIDI (mise en correspondance unitaire). Autrement dit, on décide du positionnement des 
curseurs qui délimitent le début et la fin d'un segment à jouer en boucle. 

Par exemple, le slider du clavier détermine la vitesse de lecture du fichier. Le fichier peut être lu 
en sens inverse également (mise en correspondance unitaire). 

Par exemple, à chaque potentiomètre (huit au total), est associée une variable de contrôle du 
traitement sonore désiré. 

À chaque potentiomètre du clavier sera associée une seule valeur de contrôle prédéfinie (mise en 
correspondance unitaire). 
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Sliders physiques, qui permettent de bouger avec une main 
en haut et en bas et de contrôler la vitesse et la direction de 

lecture du fichier en mode de loop. 



8 Potentiomètres, qui, par des gestes de 
rotation avec les deux mains sur les différents 
potentiomètres de forme simultanée permettent de 
contrôler le traitement sonore choisi. 





Touches - Interrupteurs, qui, par simple pression digitale, 
véloce pour se déplacer sur le clavier ; sélectionne le fragment 
sonore de la forme d'onde à reproduire, ou choisit la fréquence de 
base de la synthèses des oscillateurs, FM. Etc. 

Figure 3.60: Clavier-contrôleur MIDI 



La fréquence d'une onde sonore se détermine en fonction de valeurs introduites à l'aide du 
clavier, de même que le type de synthèse. 

Dans ce cas, les touches du clavier-contrôleur MIDI servent à contrôler plus d'une variable 
simultanément. 

Par exemple, la fréquence fondamentale d'un son synthétisé, mais aussi une valeur de contrôle 
d'un banc d'oscillateurs sont conditionnés par une même variable qui devient une valeur 
maximale d'une fonction aléatoire [random]. Cette même fonction [random] est associée à une 
modulation de fréquence (mise en correspondance unitaire). 



- Partition du SMI et/ou partition instrumentale : les partitions produites par l'ensemble des SMI 
proviennent des relations existant entre les contrôleurs et le moteur ; celles-ci sont à l'origine du 
résultat sonore. 
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3.2.16 Peintures Sonores - vingt improvisations avec Sampler-Wav sur la peinture d'Araceli 
Rubi 



- Contexte de l'oeuvre: Peintures Sonores - vingt improvisations avec SAMPLER-WAV sur la 
peinture dAraceli Rubi est un ensemble de pièces composées en 2005, dans le cadre de mes 
recherches artistiques à Paris, dans mon propre studio. Il s'agit réellement d'une interprétation 
personnelle des œuvres d'Araceli Rubi. 



- Description de l'oeuvre : Peintures Sonores - vingt improvisations avec SAMPLER-WAV sur la 
peinture <f 'Araceli Rubi est un ensemble de pièces électroniques avec SMI ayant une durée de 
deux à quatre minutes chacune. Ces pièces sont la conséquence d'improvisations sonores 
réalisées en temps réel, sur lesquels un travail de composition a été réalisé. 

Ces vingt petites pièces font échos à l'émotion et aux expériences vécues à travers la peinture de 
Rubi, qui font état d'un mélange de couleurs et de matériaux au travers d'un relief granuleux 
(Figure 3.61). 

On aura voulu mettre en évidence - par un dénominateur commun - la peinture granuleuse de 
Rubi et des objets sonores réalisés. 

Le son objectivé, dans une texture plastique et granulée créée à partir d'un matériel sonore de 
base, et la réalisation d'une continuité sonore, en s'appuyant sur la mémoire, permettent de 
découvrir un objet-son ayant des limites physiques. Ceci produit une notion de temporalité qui 
rivalise avec le parcours visuel des différentes zones géographiques d'un même tableau. 

Ces pièces sont une première approche suscitée par certains de mes intérêts artistiques: 
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Figure 3.61: Peinture d'Araceli Rubi. 



. L'improvisation sonore et musicale. L'exploration déjà entreprise dans les oeuvres 
instrumentales précédentes et qui ouvrent à l'interaction perdure et est, à l'instar de la pièce 
Wetback PD, exposée plus haut, approfondie dans ce travail. De plus, Peintures Sonores est 
basée sur l'idée générale de partition ouverte. 

. Le matériau sonore produit dans cette pièce va également servir dans des travaux 
électroacoustiques futurs. 

En conséquence, ces petites pièces explorent de façon libre la matière sonore, à la manière de 
petits tableaux granulaires, grâce aux possibilités que nous offrent les SMI. 

- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle Performance-driven 
Systems, du modèle à réponse changeante-générative et du modèle instrument. 

Il obéit a un modèle d'interaction car il est pensé comme un instrument de musique. Il requiert 
suffisamment de flexibilité pour permettre à l'utilisateur une interaction en temps réel. 

Le SMI est constitué d'un clavier numérique avec souris, d'un ordinateur, d'un microphone et de 
SAMPLER-WAV (Figure 3.62), un patch sous Pure Data. Ce patch a pour fonction de: 

. Charger les fichiers audio que nous voulons traiter en temps réel. 

. Récupérer, via un microphone, le signal audio pour un traitement en temps réel. 
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. Recevoir les informations en provenance du contrôleur. 

. Traiter et modifier les sons de départ à l'aide de plusieurs traitements effectués de façon 
simultanée ou en parallèle. 

. Sauvegarder en tant que nouveaux fichiers audio les sons après traitements. 



■ Le système de captation sonore et le système de captation du geste physique du SMI: 
Un microphone pour la captation du son à traiter. 
La souris. 
Les touches du curseur. 



Le microphone. 
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Figure 3.62: SAMPLER-WAV. 
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- Le moteur et le son résultant du SMI : le moteur du SMI est constitué de plusieurs traitements 
sonores qui permettent de modifier, selon l'idée des petites pièces, les sons de départ ou le signal 
récupéré en temps réel, par exemple dans une situation de concert, provenant d'une 
improvisation. Les fichiers audio ou le son capté en temps réel contiennent en général des objets 
sonores avec une morphologie très granulaire. Quelques possibilités de traitements sonores 
consistent à: 

. Sélectionner le fragment de son à traiter. 

. Changer la vitesse et le sens de lecture du fichier audio. 

. Filtres 

. Lignes de retard 

. Créer des boucles 

. Utiliser une réverbération 

. Etirer ou compresser la taille des sons, leurs durées. 

. Effet squelch 

. Charger des traitements VST 

. Enregistrer les sons obtenus en temps réel et les utiliser une nouvelle fois dans les traitements. 

. Spatialisation du son. 



Le son en entrée, fichier audio ou captation externe, peut être envoyé sur un traitement unique ou 
simultanément vers plusieurs traitements indépendants les uns des autres. 



- La mise en correspondance du SMI: la souris nous permet de jouer sur les potentiomètres et les 
bangs qui actionnent les traitements sonores. SAMPLER-WAV n'a pas des presets liés aux 
traitements sonores, mais certaines traitements ont des valeurs de contrôle qui sont automatisées 
avec des fonctions random. 
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Certaines valeurs de contrôle servent à une mise en correspondance unitaire pour des traitements 
en temps réel, de telle manière que certaines valeurs de contrôle gestuel soient associées à une 
seule valeur de contrôle d'un traitement déterminé. D'autres valeurs de contrôle gestuel sont en 
revanche associées, par une mise en correspondance divergente, à plusieurs valeurs de contrôle 
d'un traitement déterminée. 



- Partition du SMI et/ou partition instrumentale : la partition du SMI est constitué par l'ensemble 
des possibilités de traitement sonore, contrôlées par l'interface graphique. Cet ensemble va 
donner au résultat sonore un caractère spécifique, propre à cette proposition musicale. 
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3.2.17 Intersections Boule-Wav 2.0 

- Contexte de l'oeuvre : Intersections Boule-Wav (2.0) est une pièce composée en 2006 grâce à la 
bourse de création IUA-Phonos. Dans le cadre de ce projet électroacoustique, l'écriture d'une 
partition pour basson a requis un travail en profondeur avec le bassoniste Alex Salgueiro. 



- Description de l'oeuvre : en tant que pièce électroacoustique, Intersections Boule-Wav (2.0) 
pour basson et électronique avec SMI couvre une durée comprise entre douze et treize minutes. 
Interprétée en duo, cette pièce requiert à la fois l'instrumentiste et une personne qui contrôle le 
SMI. L'un des aspects de ce projet consiste au développement d'une pièce où les SMI 
interviennent dans plusieurs des étapes du processus de composition et d'interprétation d'une 
pièce électroacoustique. Un premier SMI à été élaboré pour produire les éléments qui serviront à 
composer la partie du basson. Un deuxième SMI à été aussi conçu, pour envisager une forme de 
geste alternatif, ainsi que pour le contrôle et la production de la partie électronique, utilisant un 
contrôleur physique. 



- Le SMI : le SMI a été conçu selon les modèles polarisés suivants : le modèle performance- 
driven Systems, le modèle de réponse changeante-générative, et le modèle d'instrument. En tant 
que modèle d'interaction, le SMI est constitué d'un réseau d'objets informatiques qui sont en fait 
un outil de composition. La partie instrumentale du basson est issue d'une programmation sous 
Max/MSP, à l'aide d'un patch qui produit de nombreuses données. De manière similaire à un 
processus de composition qui a été élaboré lors d'une pièce instrumentale précédente, un patch 
Max/MSP est ici connecté à un clavier-contrôleur MIDI. Grâce aux données collectées, le patch 
va être capable de produire des notes, des dynamiques, même des groupes de notes et des 
embryons de phrases. Calibrage, ajustements et filtrages se font ensuite à l'aide de l'interface 
graphique du patch (Figure 3.63). Le résultat est ensuite transféré vers le séquenceur Cubase. La 
récupération des données obtenues sous Max/MSP sont alors visualisées sous forme de notation 
symbolique (Figure 3.64). Les données sont par ailleurs analysées et travaillées pour que celles- 
ci puissent devenir exploitables, d'un point de vue musical, dans la composition de la pièce. 
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. Boule-Wav (2.0) : avec la pièce Laberint sonor, le contrôleur gestuel alternatif démontre encore 
l'intérêt suscité par la lutherie numérique. Dans Boule-Wav (2.0) une idée d'interface physique 
semblante à Boule-Wav (1.0) mais ici reprise mais sous une forme plus complexe et qui 
s'applique à une pièce de concert avec instrument (Figure 3.65). 



Le SMI Boule-Wav (2.0) est équipé de : un microphone, une boule avec des capteurs et un 
microphone, une pédale et un boîtier équipé d'un circuit (Figure 3.66), d'un ordinateur sur lequel 
est chargé le patch Max/MSP (Figure 3.67). 
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Figure 3.63: Patch Max/MSP pour la génération de données. 
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Figure 3.64: L'application Cubase permet de récupérer les données qui proviennent du patch 

Max/MSP et de les visualiser. 
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Figure 3.65: Boule-Wav 2.0 
Le SMI a pour fonction de : 
. Récupérer l'information issue des capteurs. 
. Récupérer le signal du microphone. 
. Produire le son résultant de l'interaction avec la boule. 
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Figure 3.66 : Boiter avec le circuit. 




Figure 3.67 : Interface graphique permettant de visualiser les contrôleurs de volume et les 
données qui proviennent des capteurs. 
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- Le système de captation sonore et le système de captation du geste physique du SMI : 

. La boule est équipée avec des capteurs de pression et accélération. Le tube de la boule, dans 
lequel un microphone permet la récupération du son formé par le souffle de la bouche (Figure 
3.68). 

. La boule. 




Figure 3.68 : La boule avec les capteurs de pression, la tube et le microphone à l'intérieur. 

- Le moteur et le son résultant du SMI : Le moteur de Boule- Wav (2.0) étant assez complexe, il 
n'est pas nécessaire d'avoir une collection de fichiers audio préenregistrés. Au contraire, toute la 
partie électronique est produite en temps réel. Par conséquent, le moteur utilise différents types 
de synthèse sonore de manière à obtenir suffisamment richesse. Ainsi, le son du basson et le son 
de la voix chantée ou soufflée dans le tube de la boule sont également traités. De même, le 
traitement en temps réel du son est produit à l'aide de la modélisation d'un objet virtuel. Il s'agit 
d'une demi sphère qui représente, de façon virtuelle, la boule physique avec laquelle on interagit 
(Figure 3.69). 

La modélisation physique est réalisée dans l'environnement logiciel Modalys (16), et à l'aide de 
l'objet modalys pour Max/MSP, l'objet virtuel produit une synthèse du son. La computation a 
pour objectif la simulation d'une mise en vibration par un effet percussif et la production par 
synthèse par modèle physique d'un son métallique réverbérant. 



16. Modalys est un environnement logiciel dédié à la synthèse sonore par modèles physiques, ( http://articlcs.ircain.fr textes Ellis05a/indcx. pdf) 
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Le son est ensuite enregistré et manipulé en temps réel par des opérations qui portent sur les 
effets d'accélération, d'étirement, de réverbération, de changement de la taille et de dimensions 
de l'objet virtuel en temps réel. Un traitement par synthèse granulaire est aussi appliqué. 




Figure 3.69 : Modélisation de la demi-sphère dans l'environnement logiciel Modalys. 

Divers types de synthèse sonore sont utilisés, mais une certaine homogénéité est conservée 
au niveau du timbre. Un son électronique et synthétique est clairement différencié du son produit 
par le bois du basson. Le concept émotionnel de la pièce cherche à faire émerger deux chemins 
qui se profilent le plus souvent de manière parallèle, mais qui, de temps à autre, arrivent à se 
croiser mutuellement dans un espace imaginaire fait d'intersections. 



- La mise en correspondance du SMI : la mise en correspondance proposée dans ce projet est 
assez complexe en raison de multiples variables de contrôle du geste et de la synthèse sonore, 
ainsi que de la spatialisation. Avec la bouche, et tout en chantant ou soufflant à l'intérieur du tube 
de la boule, un contrôle continu ou discontinu se fait en fonction du geste. Les doigts sur les 
capteurs de pression de la boule différencient deux types de contrôle. Avec l'inclination de la 
boule, grâce au capteur d'accélération et de la pédale, un contrôle continu est favorisé. Par 
exemple, dans un passage de la pièce, l'inclination de la boule contrôle l'interpolation entre deux 
configurations de spatialisation de l'électronique (Figure 3.70). 
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Figure 3.70 : Interpolation entre deux configurations de spatialisation de l'électronique. 



- Partition du SMI et ou partition instrumentale : le bassoniste possède une partition écrite 
détaillée. Cette partition est le résultat de l'écriture instrumentale faite à partir de données brutes. 

La personne qui manipule l'interface Boule-Wav (2.0) a la même partition que le bassoniste, mais 
avec des indications supplémentaires, celles qui sont liées notamment au type d'interaction à 
réaliser. Chaque indication est une porte ouverte à l'improvisation électroacoustique, car à 
chaque instant se détermine le type de son et la musicalité à obtenir, tout en laissant à l'interprète 
le contrôle formel et les articulations musicales. 



18 M 



3.2.18 Le concept d' ultramédia 

Les pièces, inclues dans cette catégorie, peuvent se présenter sous plusieurs formes, grâce 
au concept qui caractérise les SMI, l'ultramedia. Ce concept, déjà défini dans la première partie de 
cette thèse, suggère que les SMI se caractérisent par la création d'un réseau d'objets numériques et 
de représentations symboliques et sub symboliques, permettant d'établir des passerelles vers des 
dimensions sensibles. Ainsi, une pièce va avoir plusieurs versions en fonction des réseau créés. 



Sujet sous forme de 



question(s) 



Explication du sujet 



Étudier la création de possibles 
-Est-il raisonnable de penserque relations et mises en 

l'artiste peut accéder et être correspondance entre deux 

mondes, au moyen du relais, 
réceptif simultanément et Relations entre la captation du 

complètement aux structures ê este et le résultat sonore P ercu - 

musicales, à la génération du 

matériau sonore, à l'écoute 

musicale, à la création de 

formes contrôlées ? 

-Quels types de relations 
devrais-je favoriser ? 

-Entre quels objets vais-je créer 
des relations ? 

-Quels types de gestes seront 
les plus pertinents ? 

-Quel type de système de 
captation sera nécessaire ? 



Pièce(s) 



Dans les pièces mentionnées ci- 
dessous, le concept d'ultramédia 
permet de générer plusieurs 
oeuvres à partir d'une seule 
pièce, par une variation au 
niveau du format ou de la 
situation de concert : 

Espais Gestovocals (Annexe) 

Eléments de Conducta i 
Transport 

Interactive Laberintus et La 
voix d'Ulysse 

Peinture Sonore -plusieurs 
pièces (Annexe) 



Laberint sonore (Annexe) 
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-Quels types de relations 
existeraient alors entre geste et 
résultat sonore perçu ? 

- Quel type de sonorité ou de 
résultat sonore et musical 
choisir ? 
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3.2.19 Eléments de Conducta i Transport 1.0, Eléments de Conducta i Transport 1.1, 
Eléments de Conducta i Transport 1.2 

- Contexte de l'oeuvre : Eléments de Conducta i Transport est une commande du Musée Picasso 
d'Horta de Sant Joan (Espagne) à l'occasion de la commémoration, en 2009, du centenaire du 
deuxième séjour de Picasso dans cette ville. Ce projet a donné lieu à plusieurs pièces avec 
différents dispositifs autour d'une idée commune, une installation sonore avec SMI. 



- Description de l'oeuvre : Eléments de Conducta i Transport est un projet électroacoustique qui 
porte sur une approche de la sonification. Il s'agit ici de la transformation du geste physique en 
son. 

Ce principe de transformation se matérialise à la fois sous forme d'une installation sonore et 
d'une pièce électronique avec SMI pour l'improvisation en temps réel. 

1 - Eléments de Conducta i Transport - instablaciô d'atuells musicals 1.0 : Installation visuelle et 
sonore de /aurne Rocamora et Joan Bagés autour de la construction d'un orgue de carton doté de 
capteurs de lumière (Figure 3.71). Ce projet est témoin aussi, comme nous l'avons déjà évoqué 
dans autres projets, de notre intérêt pour la lutherie numérique. 




Figure 3.71 : Vision de l'installation sonore dans l'église à Horta de Sant Joan (Espagne). 
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Dans ce travail de lutherie, huit tubes sont équipés de capteurs de lumière (Figure 3.72). Ces 
derniers permettent l'interaction lorsque l'on utilise ses mains pour couvrir les tubes. Cette action 
gestuelle, dénuée de tout contact physique, produit des polyphonies aux textures électroniques, 
associées à la longueur de chaque tube. 

2 - Eléments de Conducta i Transport 1.1 : est une pièce électronique avec SMI, d'une durée 
approximative de vingt minutes. Les tubes ont été substitués par les potentiomètres d'un autre 
type de contrôleur, un clavier MIDI. Cette pièce avait été créée lors d'un concert organisé par le 
collectif d'artistes Trafic de Paris. 




Figure 3.72 : Un clavier MIDI remplace les tubes contrôleurs pour la musique 

électronique . 



Ces deux versions se caractérisent par une posture sur scène sensiblement différente. Cependant, 

les versions conservent certains traits communs qui maintiennent l'unité et la cohérence du 

projet: 

. Les deux versions disposent du même moteur sonore et des mêmes sons. 
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. Les deux versions partent de la même partition graphique afin de réaliser une improvisation 
sonore contrôlée qui donnera du sens, de la cohérence et de la musicalité lors des différentes 
performances. 

- Le SMI: il a été conçu selon un modèle polarisé proche du modèle performance-driven Systems, 
à la réponse changeante-générative et au modèle d'instrument. Le SMI a été conçu comme 
modèle d'interaction pour permettre le jeu avec les mains. 

. Nous avons programmé un patch Max/MSP [patch-Max/Msp-CreacioSons] pour composer 
toutes les archives audio qui seront utilisées en concert (Figure 3.73). Ce patch sera utilisé dans 
d'autres pièces pour générer le matériau sonore. 

Deux autres SMI correspondent aux deux versions présentées ici. Dans les deux versions, le SMI 
est constitué de: 

. Une machine sur laquelle sont chargés les différents programmes (patch, que nous avons 
programmés en Max/MSP. 

.En fonction de la version concernée, nous aurons : des capteurs de lumière et une boite avec un 
circuit dédié à la réception et à l'envoi de l'information issue des capteurs vers l'ordinateur ou 
contrôleur MIDI. 

Le SMI nous permet de : 

. Récupérer les données du contrôleur. 

. Selon la version, le SMI nous permet de générer une réponse sonore en fonction du tube ou du 
potentiomètre sur lequel on intervient. La réponse sonore consiste à la lecture de fichiers audio à 
partir d'un réservoir classé en fonction de leurs durées temporelles. 
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Figure 3.73 : Le patch Max/MSP ci-dessus sert à la production des fichiers 

audio utilisés en concert. 



- Le système de captation sonore et le système de captation du geste physique du SMI : 

. Dans la version 1.0, qui correspond à l'installation sonore, l'interface physique ou contrôleur 
gestuel est un orgue en carton équipé de huit tubes. Nous avons programmé un patch Max/MSP 
qui nous permet de gérer et de visualiser l'ensemble de l'information (Figure 3.74). Chaque tube 
dispose d'un capteur de lumière (Figure 3.75) qui reçoit les variations d'intensité produites par le 
mouvement des mains par-dessus les tubes (Figure 3.76). Le contrôle est exercé en fonction de 
deux gestes principaux. Un premier geste qui consiste à élever et descendre les mains au-dessus 
de chacun des 8 tubes. L'intensité associée à chaque tube est alors soumise, de façon similaire 
aux indications de nuances d'un orchestre envers ses musiciens. Un second geste, plus petit, 
exercé sur chaque tube permet de changer les morphologies sonores instantanément (Figure 
3.77). 
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Figure 3.74: Interface graphique du patch Max/MSP. Nous pouvons visualiser les données que 

les capteurs reçoivent. 




Figure 3.75 : Capteur lumière à l'intérieur du tube. 
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Figure 3.76: Le Sllb-patch reçoit les variations de lumière produites par les 

gestes de la main. 




Figure 3.77: Mains qui s'élèvent au-dessus des tubes. 

. La version 1.1 correspond à la pièce électronique avec SMI. Le contrôle gestuel se fait à l'aide 
d'un contrôleur MIDI, qui permet à chaque instant d'appeler un ou plusieurs fichiers audio. Ce 
même contrôleur permet aussi d'agir sur le volume de chacun des huit buffers de façon 
indépendante. 
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Un mouvement rapide et bref du potentiomètre de droite à gauche ou inversement fait varier et 
changer le son de façon immédiate. Un sub-patch récupère les valeurs envoyées (Figure 3.78). 
Chacun des huit potentiomètres contrôle le volume des huit catégories de sons. 




Figure 3.78 : Sub-patch qui récupère les valeurs du clavier-contrôleur MIDI 



- Le moteur et le son résultant du SMI : dans les deux versions, le moteur de génération sonore 
est constitué de huit buffers qui permettent de charger les divers sons composés en studio et sur 
lesquels on opérera un tri aléatoire, en fonction de l'interaction. En effet, ce sont les huit sub- 
patches qui déclenchent les fichiers audio à l'aide une fonction aléatoire [random] (Figure 3.79). 
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Figure 3.79 : Sub-patch qui contient une fonction aléatoire [ranclom]. 

Comme dit précédemment, un SMI à été programmé pour composer les sons du projet. Il existe 
huit catégories de sons classifiés selon leur durée respective. La longueur du tube correspond à la 
longueur du son de telle sorte que le tube le plus long nous indique que nous sommes en 
interaction avec les sons de plus longue durée, par contre, les tubes de plus en plus court sont mis 
en relation avec des fichiers audio d'une durée de plus en plus courte également. L'échelle de 
durées en secondes est la suivante 12', 8', 6', 4', 3', 2', l'5" et 1 seconde. 

De cette façon, nous pouvons créer une oeuvre sonore basée sur des formes et des dimensions 
diverses tout en superposant ou juxtaposant des séquences sonores de diverse temporalité. En 
son temps, le peintre Picasso composait l'espace, notre travail sonore fait référence à de telles 
notions de fractionnement et de juxtaposition de plans. Les durées, vues comme des tranches de 
temps, construisent et articulent des sonorités riches et complexes. Ces fichiers audio ont été 
composés selon un principe d'évolution temporelle du timbre à l'intérieur d'un même son, grâce 
à de multiples traitements audio contrôlés à l'aide d'enveloppes temporelles. 
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Ce processus d'élaboration sonore part de notre travail initié avec la pièce instrumentale, Hola 
Mercè, composée à l'Université de Paris 8 dans le cadre de mes études en D.E.A. 

- La mise en correspondance du SMI : la mise en correspondance dans les deux versions est de 
type unitaire. 

Les capteurs de lumière et les potentiomètres agissent sur le volume de chacune des huit pistes, 
tandis que les valeurs de contrôle agissent sur un paramètre autre du moteur. 

La détection d'un mouvement rapide et bref avec les deux types de contrôleurs agit sur la 
fonction de changement aléatoire de fichier audio. 



- Partition du SMI et/ou partition instrumentale : les deux versions de ce projet disposent d'une 
partition graphique faite à partir de l'analyse de certains paramètres des tableaux du peintre 
Jaunie Rocamora. La partition indique le processus de construction formelle et temporelle de la 
pièce. Cet élément permet d'organiser temporellement les éléments sonores afin de donner de la 
cohérence et de la musicalité à l'oeuvre. La partition conditionne et guide l'improvisation. La 
correspondance spatiale et rythmique des tableaux avec la musique a été établie à partir des 
paramètres de volume et sur l'action de changement de fichier audio (Figure 3.80). 
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Figure 3.80: Partition graphique utilisée pendant l'interaction avec 
l'installation ou pendant le jeu gestuel de la version avec clavier-contrôleur 

MIDI . 
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3.2.20 Interactive Laberintus et La voix d'Ulysse 



Interactive Laberintus et La voix d'Ulysse sont deux projets présentés ici de façon conjointe. 
Bien que ces deux projets soient différents, le SMI associé à ces travaux est fondamentalement 
issu d'un même patch initial sous Max/MSP. Une programmation a dû être adapté à partir du 
patch original de manière à convenir aux besoins artistiques de chaque pièce. Nous avons 
notamment changé les modes d'accès au système à cause de contrôleurs différents, ainsi que des 
mises en correspondances autres. 



Interactive Laberintus 

- Contexte de l'oeuvre : Interactive Laberintus a été commandée par le musée de Benicarlo en 
espagne à l'occasion de l'exposition Gaubances du peintre espagnol Jaume Rocamora. La pièce 
de musique électronique interactive Interactive Laberintus est créée en 2010. De précédents 
projets avaient été réalisés en collaboration avec Jaume Rocamora. On citera les installations « 
Laberint » et « Eléments de Conducta i Transport 1.0 » ou encore la pièce acousmatique Càlida 
Construcciô 1.0. 



- Description de l'oeuvre : Émanant de l'idée ou du concept de labyrinthe, Interactive Laberintus 
s'inspire d'un conte du peintre Jaume Rocamora. D'une durée approximative de vingt minutes, 
Interactive Laberintus est destinée à être interprété en temps réel à l'aide d'un système 
informatique. Un patch sous Max/MSP permet l'improvisation d'une idée musicale déterminée à 
l'avance. Développée à partir d'une précédente collaboration avec le peintre - Laberint - 
Interactive Laberintus a deux approches possibles quant au dispositif des interprètes. La 
première consiste à la manipulation de l'interface graphique avec le clavier et la souris par un 
interprète seul. La seconde approche inclut une danseuse qui interagit avec le système tandis 
qu'un opérateur - ou un assistant musical - contrôle le processus en temps réel. Les deux acteurs 
interagissent avec différents éléments de l'installation visuelle et plastique pour contrôler certains 
paramètres de la pièce. 
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On notera que si Interactive Laberintus possède une double nature, c'est qu'elle est fondée sur 
l'idée d'un double modèle, celui de l'interprète-compositeur et celui de l'installation sonore. 

De même, la nature "temps réel" du travail mis en oeuvre dans Interactive Laberintus permet 
l'élaboration simultanée d'un concept proche de l'installation sonore et de la composition 
musicale. 

En plus d'ouvrir à différentes perspectives le travail artistique sur l'interactivité et le sonore, il est 
possible d'introduire les concepts d'installation sonore et de pièce ouverte dans une seule et 
même oeuvre. Nous pensons en effet qu'il est à la fois intéressant et prometteur de mélanger, 
mixer et relier différentes formes de création qui relèvent de champs habituellement différents. 

Dans ce contexte, nous avons différentes temporalités musicales reliées au dispositif choisi. En 
effet, deux temporalités ont été réalisées grâce à une superposition et une coexistence de 
plusieurs formes d'expression. D'une part, un interprète, face à l'ordinateur, trace un discours 
narratif organisé au préalable mais doté d'une temporalité propre. 

Dans le même temps, des capteurs disposés sur l'installation visuelle-plastique permettent 
l'exploration d'un espace ouvert pour une danseuse qui modifie et transforme de manière sensible 
le discours mis enjeu par l'interprète à l'ordinateur. 

-Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle Performanc-driven 
Systems, du modèle à réponse changeante-générative et du modèle interprète. 

Il a été aussi conçu sous un modèle plus proche de l'interaction que de l'interactivité sonore. 

Le dispositif permet le contrôle des flux de données provenant des capteurs qui sont soumis au 
jeu d'interprétation et de l'installation visuelle-plastique de Jaunie Rocamora. Parmi les capteurs 
utilisés figurent une plaque de pression, deux capteurs de lumière, ainsi qu'une souris 
informatique sans câble. Ces capteurs délimitent trois zones d'interaction pour la danseuse. 

- Le système de captation sonore et le système de captation du geste physique du SMI : 
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Au niveau de l'interface graphique, des accès de type curseurs et boutons permettent le contrôle 
de fonctions préétablies (presets), dont l'activation et désactivation de ces mêmes fonctions 
(Figure 3.81 et 3.82). 

Puisant l'idée dans le modèle d'installation, deux capteurs d'intensité lumineuse sont fixés sur 
deux plaques qui récupèrent l'information liée à la distance danseuse capteurs (Figure 3.83). 

Une plaque de pression cachée sous quatre coussins est soumise à l'action et au mouvement de la 
danseuse dans un espace limité et très proche de l'une des plaques (Figure 3.84). Une petite boîte 
cubique dissimule une souris sans câble permettant un jeu de mouvements entre la danseuse et 
celui-ci (Figure 3.85). 

La forme ouverte, de nature exploratoire, de la chorégraphie offre à la danseuse la possibilité 
d'intervenir à tout moment. L'interaction avec le dispositif permet d'intervenir non pas seulement 
de façon arbitraire, mais quand celle-ci le juge opportun. 

Dès lors, la danseuse prend le rôle de soliste et articule le discours sonore et musical. Pendant les 
séquences où celle-ci prend le rôle principal, un retour d'information sensible de son geste, ou 
feedback, lui permet un contrôle accru et plus naturel de son geste chorégraphique. 




Figure 3.81: Depuis l'ordinateur nous avons un contrôle sur les données en entrée provenant de 
variations subites par les capteurs. Ces donnés vont être traitées en temps réel. 
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Figure 3.82: Interface graphique permettant la manipulation d'effets. L'entrée des données peut 

être verrouillé depuis cette interface. 
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Figure 3.83: Sur chacun des deux panneaux ou plaques un capteur de lumière permet la 
récupération des valeurs liées aux variations luminosité. Celles-ci fluctuent en fonction de la 
position de la danseuse qui interfère entre les sources lumineuses de la salle et les capteurs. 




Figure 3.84: Une plaque de pression disposée sous les coussins permet à la danseuse d'agir sur 
ceux-ci tout en étant débout ou directement à terre. 
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Figure 3.85: Le cube noir posé au sol est déplacé à l'aide des pieds ou des mains par la danseuse. 
En déplaçant cette boîte, c'est la souris qui est actionnée. 



- Le moteur et le son résultant du SMI : 

Dans ce travail, nous avions pour objectif la réalisation d'un programme capable de produire des 
sons sensiblement plus complexes que ceux qui sont synthétisés dans le programme du projet 
EMSTI. Le projet EMSTI implique, nous le verrons plus loin, une collaboration dans un contexte 
particulier, celui d'un auditoire composé de personnes atteintes de paralysie cérébrale. 

Dans Interactive Laberintus, nous avons réutilisé certaines fonctionnalités du programme 
existant dans le projet EMSTI, en développant certains aspects dans un nouveau programme sous 
MaxMSP. Ce dernier programme contribue à l'émergence d'un environnement particulier et 
répond aux besoins musicaux de la pièce. 
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L'interface réalisée offre différents types de traitement. Il s'agit principalement d'effets de 
réverbération, d'effets chorus et flanger, de filtres, d'Écho-Delay avec variations fréquentielles et 
qui permet en outre la génération de sons avec de la Synthèse FM. De plus, un retour d'effet 
(Feedback) est possible à la fois sur tous les traitements et directement en entrée microphone ou 
via les entrées utilisées pour le signal audio (Figure 3.86). 

Depuis l'interface, l'interprète déclenche l'audition des sons, qui, préalablement organisés en six 
catégories, configurent la structure de l'oeuvre: 

. Attaques 

. Séquences de petits sons 

. Lignes ou sons avec fréquences repérables 

. Trames sonores de densité moyenne 

. Trames de grand densité 

. Noise 



À cela s'ajoute un enregistrement sonore du conte du peintre Jaume Rocamora récité par Ramir 
Guiu, conte à partir duquel le travail de la pièce s'est construit. 
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Figure 3.86: Cette interface permet le chargement de l'ensemble des six catégories de sons. 



- La mise en correspondance du SMI: correspondance de type divergente. L'interactivité se situe 
principalement entre la danseuse, dont le mouvement modifie les valeurs données au système par 
les capteurs, et les sélections de configurations préétablies (presets) par l'assistant musical dans 
le temps de la performance, à l'aide de l'interface graphique. 

Dans le même temps, tous les paramètres du moteur de synthèse sont accessibles pour obtenir 
des variations qualitatives des sons. 

Les données provenant des capteurs induisent un comportement du moteur de la synthèse FM, 
ainsi que des changements de vitesse de lecture des fichiers audio. Les données commandent 
également les variations de hauteurs (pitch), les modifications fréquentielles des filtres et les 
variations de hauteurs de l'effet Eco-Delay. 
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- Partition du SMI et ou partition instrumentale: l'improvisation est un domaine de l'expression 
musicale qui m' intéresse particulièrement en raison de l'hétérogénéité des applications possibles, 
tant pour la production de séquences sonores utilisables dans un contexte électroacoustique, que 
pour la profusion d'idées à développer dans un contexte instrumental, en encore dans le cadre de 
l'interprétation et de la composition en temps réel. 

En raison de mon parcours musical et ma formation initiale en tant que pianiste et instrumentiste, 
les enjeux liés à l'interprétation ainsi qu'à toute forme de réalisation en temps réel sont 
stimulantes ; c'est-à-dire que le jeu de l'interprète, au sens de la performance artistique, ainsi que 
le risque qui en est naturellement induit - à l'instar de toute interprétation en directe - est au 
centre de mes préoccupations. 

Aussi, le travail en tant que compositeur et artiste sonore (Sound artisi) pose d'autres enjeux, 
dont celui du contrôle de la forme, des structures temporelles et en amont, de la structuration du 
matériau. Enfin, le devenir de l'oeuvre est en soi une préoccupation artistique majeure qui 
implique un haut niveau de contrôle hors-temps (de la performance) et en-temps de celle-ci, nous 
l'avons vu. 

Finalement, je conçois le rôle de l'improvisation comme un jeu qui entre dans l'instant et la 
planification et l'organisation préalables à cet instant. 

Pour aller plus loin, je dirais qu'il existe un dialogue entre la planification, le contrôle 
événementiel et l'expression d'une structure ouverte qui me permet de réagir en fonction de 
l'instant vécu. 

Je pense qu'il serait intéressant de concevoir un type de partition qui organise le discours, qui fait 
montre de l'intention musicale du compositeur et qui guide l'écoute du public. De cette façon, il 
serait possible d'espérer un niveau de cohérence entre "composition hors temps" et "composition 
en-temps". 

Dans le cas précis de cette pièce, la partition reste très simple. Un ensemble limité d'indications 
pointent les qualités sonores (mentionnées plus haut) de façon précise et isolée : ces indications 
qualitatives induisent des repères propres aux entités sonores dont les sons peuvent être 
combinés pour former des strates polyphoniques. 
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L'une des conditions imposées est la détermination de structures en amont de la performance, à 
partir desquelles l'expression de la danseuse prendra tout son sens. Bien que ces éléments 
déterministes puissent être différents d'une performance à une autre, le cadre de la structure 
déterminée offre un champ complet de variations, de transformations, d'altérations et 
d'inventions réalisés d'une manière complètement libre. 
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3.2.21 La voix d'Ulysse 

- Contexte de l'oeuvre : la voix d'Ulysse est une pièce électronique, improvisé avec SMI, dont la 
composition est une collaboration avec le plasticien Jaume Rocamora et l'ancien directeur 
artistique des Musées de Cholet et Montbéliard, Bernard Fauchille. Cette pièce à été écrite en 
vue d'une création dans le Festival MAS de Paris, qui est organisé en 2011 pour le Collective 
d'Artistes Trafic de Paris et le Théâtre du Petit Miroir d'Issy-les-Moulineaux. 



- Description de l'oeuvre : l'oeuvre consiste en un ensemble de courtes improvisations 
électroniques qui utilisent les tableaux de Jaume Rocamora comme un code - partition pour 
guider l'improvisation en concert. 

Différents extraits et phrases, des articles de Bernard Fauchille, sur l'art et l'oeuvre de Jaume 
Rocamora, ont été enregistrés telles de petites séquences audio utilisées dans l'improvisation. 
L'enjeu de la pièce consiste en un dialogue en scène, entre quelqu'un qui manipule les tableaux 
de Jaume Rocamora et moi-même, manipulant le SMI pour composer en temps réel la pièce 
électronique. 



- Le SMI : le SMI à été conçu comme modèle d'interaction proche des systèmes de suivi de 
partition [performance-driven Systems), à la réponse changeante, générative et ou modèle 
d'instrument. Le SMI consiste en un patch Max/MSP qui dispose de plusieurs possibilités de 
production sonore. Pour pouvoir jouer la pièce, le patch a une interface graphique qui nous 
permet de sélectionner, à tout moment, les traitements sonores qui nous vont construire le 
discours musical en temps réel. 

- le système de captation sonore et le système de captation du geste physique du SMI : la souris 
et le clavier de l'ordinateur sont les deux modes de captation du geste physique destiné à interagir 

avec l'interface du patch et ainsi sélectionner les traitements et les sons adéquats. 
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- Le moteur et le son résultant du SMI : le moteur sonore est construit avec les éléments suivants 
qui conditionnent les possibilités sonores du patch: 

Le chargement des fichiers audio se fait selon la classification suivante: attaques, lignes, petites 
séquences, trames de longueur moyenne, séquences audio de la voix de Bernard Fauchille. Tous 
ces fichiers audio peuvent n'être utilisés que partiellement, c'est-à-dire qu'ils peuvent être lus 
intégralement ou par sections choisies. 

Entrée audio du son de la salle du concert. 

Synthèse FM 

Changement de hauteurs perçues, mais aussi des filtres, écho, reverb, chorus, flanger. 

Feedback de tous les traitements, des fichiers audio et du son en entrée. 



Le SMI dispose d'un réservoir assez important de sons et de séquences audio avec des timbres 
assez variés. Tous les sons du réservoir et l'entrée audio de la salle peuvent être routé vers le 
feedback sonore et/ou vers les traitements déjà exposés. Toutes ces possibilités créaient une 
sonorité très variée. 



- La mise en correspondance du SMI : basée sur un type de mise en correspondance divergente, 
le SMI offre des traitements qui disposent d'une configuration (presets) prédéterminée. Dans le 
même temps, tous les traitements ont la possibilité d'être reconfigurés et manipulés. 

Leur modification peut être réalisé à l'aide de curseurs {sliders). Le son de la synthèse FM est 
soumise à plusieurs échos avec changement de fréquence. Le mixage entre les différents échos 
son mixés en temps réel par des opérateurs qui rendent un résultat arbitraire, dit random (Figure 
3.87). Ce procédé nous permet obtenir un nuage sonore à partir duquel on contrôle, avec les 
sliders de certains paramètres, la fréquence, l'harmonisation et l'index de modulation. Dans ce 
cas, on laisse au système le soin de construire le mixage entre les échos produits. L'ensemble des 
traitements et des sons peuvent ainsi être joués de façon simultanée. 

En étant attentif aux événements sonores, on peut parvenir à un niveau suffisant de complexité 
pour que les relations et les sonorités demeurent dans une certaine intentionnalité. 
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Figure 3.87: Le mixage entre les plusieurs échos, avec changement de pitch du son FM original, 
est réalisé en temps réel par des calculs de type random. 



Le système d'interaction se montre relativement intéressant en raison d'une situation où le réseau 
créé est finalement plus complexe que l'ensemble des traitements sonores, vérifiant l'affirmation 
suivante: le tout est supérieur à la seule somme de ses parties. 



- Partition du SMI et/ou partition instrumentale : la partition ouverte de cette pièce est constituée 
par l'ensemble des possibilités sonores et musicales, offertes par ce système. Celles-ci, présentes 
dans le SMI, engendrent une réalité limitée de possibilités et d'articulations musicales. Ainsi, 
l'interface physique, proposée par le patch, permet de disposer et d'articuler les événements 
sonores dans le temps, de telle manière et non pas de telle autre. La pièce est conçue en vue d'une 
performance interactive avec les tableaux de Jaume Rocamora. Trois tableaux monochromes - 
rouge, bleu et jaune (Figure 3.88) - servent d'inspiration pour l'interprétation en direct de 
l'électronique. 
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Chaque tableau est constitué de plusieurs lames en carton qu'ont de trous a l'intérieur, ce qui 
permet laisser voir une partie de la lame qui se trouve derrière de celle-ci. Le mixage de lames et 
couleurs constituent un code pour l'interprète de la musique électronique où il existe aussi une 
consigne général. Quand sur scène il y à une lame avec la couler, le son demeure simple et 
statique. L'opération qui consiste a ajouter des lames sur la première lame de couleur masque 
progressivement cette dernière. Cependant, alors que la lame de couleur initiale perd en 
visibilité, le son de départ, simple, devient plus complexe, avec davantage de mobilité et plus 
dense (Figure 3.89). 




Figure 3.88: Trois tableaux : rouge, bleu, jaune. 




Figure 3.89: On commence à cacher la lame de couleur. C'est l'indication graphique qui donne 
l'information nécessaire pour que le son simple devienne plus complexe, mobile et dense. 
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3.2.22 Les paradigmes et les modèles de classification 

Les pièces, inclues dans cette catégorie, naviguent entre les différents pôles que représentent les 
trois modèles polarisées des SMI. Il m'intéresse d'étudier le type de pièce qui résultera de 
l'utilisation de tel ou tel modèle, lors du processus de composition. Ainsi, apparaîtront tour à tour 
des pièces conventionnelles ou, au contraire, plus proches de l'improvisation musicale. 



Dans les pièces ayant en partie recours à l'improvisation musicale, le SMI est pensé comme un 
instrument interactif reposant sur le modèle de l'instrument musical, permettant ainsi au 
compositeur d'improviser en temps réel. Le compositeur, qui participe directement à la 
performance, interprète ainsi sa propre musique électroacoustique. Ces pièces interrogent la 
notion de frontière entre les domaines de la composition et de l'improvisation musicale. Le SMI 
doit être suffisamment flexible, en vue de permettre à l'interprète de choisir entre différentes 
possibilités et articulations en temps réel. Dans un contexte d'improvisation avec un SMI, il ne 
s'agit pas de reproduire un type de performance s'apparentant à une performance avec des 
instruments traditionnels. Il semble plus intéressant de choisir une palette sonore à même de 
configurer un système, permettant ainsi l'articulation temporelle d'un discours musical. 



Sujet sous forme de 
question(s) 

-Peut-on créer des systèmes de 
différent niveau de complexité, à 
partir de ces modèles polarisés, 
selon les besoins d'une pièce ou 
d'une application interactive ? 



Explication du sujet 



Étudier les résultat obtenus à 
partir de la création des SMI 
dans chacun des trois 
modèles polarisés. 



Pièce(s) 



Le Tailleur de Temps dans 
ITnterzone et Interzone : dans 
ces deux pièces, le SMI se 
comporte de manière variée 
en fonction des besoins 
expressifs des différents 
moments de la pièce. 
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3.2.23 Le Tailleur de Temps dans l'Interzone et Interzone 

- Contexte de l'oeuvre: Le Tailleur de Temps dans l'Interzone et Interzone sont l'aboutissement 
d'une recherche sur les nouveaux modes de production sonore du basson, sous formes de deux 
compositions distinctes appartenant néanmoins au même projet. Interzone a été développé avec 
la collaboration de la bassoniste Dafne Sandoval et du musicien de musique électronique 
improvisée Xavier Lopez. Le projet à été composé grâce à une résidence à La Haye, aux studios 
LOOS Fundation entre 2009 et 2010. 

. Le Tailleur de Temps dans l'Interzone: cette pièce pour basson et électronique est une pièce 
satellite de la pièce Interzone. Dans notre travail comme compositeurs nous trouvons très 
intéressant de composer autres pièces autour d'un projet principal. Cette idée nous permet 
d'explorer autres idées, dispositifs et durées temporelles qui ne sont pas assez développées à la 
pièce principale. 

. Interzone: Interzone est une pièce pour basson et électronique composée en 2010 en relation 
étroite avec la bassoniste française Dafne Sandoval et le musicien français Xavier Lopez. Lors de 
ce travail, l'un des objectifs a été de conduire une recherche sur les possibilités de production 
sonore du basson. En effet, une telle exploration de l'instrument inclut des techniques diverses et 
variées. On citera notamment la production de son en soufflant directement au niveau du bocal, 
sans l'anche. On notera nombre d'effets dont la réalisation de sons multiphoniques, de sons velvet 
ou de sonorités crées par l'introduction de la salive directement au niveau du bocal. On notera 
également les possibilités de jeu qui se fondent sur les différentes formes de soufflé, des 
méthodes pour filtrer le son de l'instrument avec la bouche ou les lèvres, les doigtés particuliers. 

J'ai tenté une adaptation de la technique d'écriture dite le eut and paste(X), de l'écrivain William 
Burroughs. Cette méthode a servi de base, à partir d'une exploration sonore de l'instrument, à 
l'écriture des deux pièces. Nous précisons que cette approche a considérablement influencé la 
programmation informatique des deux SMI. 
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- Description de l'oeuvre: 

. Le Tailleur de Temps dans l'Interzone : pièce pour basson et électronique avec SMI. Cette pièce 
a une durée d'environ cinq minutes. Dans ce cas nous avons envie de travailler sur un durée 
temporelle plus courte, créer un dispositif en temps réel qui soit totalement contrôlé par 
l'instrumentiste et créer un pièce où les matériaux musicales du basson et de la partie 
électronique soient très homogènes. Le son de la partie électronique consiste en un ensemble 
d'échantillons sonores qui sont déclenches en temps réel par l'instrumentiste grâce a une pédale 
MIDI (17). La pédale MIDI est relié à un patch Max/Msp qui gère toute l'information. 

. Interzone: Interzone est une oeuvre dite Live electronic. Elle est écrite pour basson, 
électronique improvisée et électronique avec SMI. 

Deux SMI distincts procèdent à des opérations différentes: 

. Le traitement en temps réel du signal audio du basson et le déclenchement des échantillons 
sonores (18). 

. Le contrôle événementiel lors de l'improvisation électronique. 

D'une durée de seize minutes, Interzone explore les limites et les possibles zones de confluence 
entre improvisation et composition musicale. À partir d'un son d'aspect sale, sans fréquences 
significatives d'un point de vue perceptif, une évolution s'opère au travers des cinq sections qui 
structurent la pièce. Le son se transforme progressivement vers des structures sonores constituées 
de fréquences plus distinctes, mais qui s'oriente vers une sonorité contenant du bruit. Le son 
devenu alors très présent, envahit l'espace de manière puissante et agressif. 

À l'intérieur de chaque section se développent différents types d'interaction entre le son source 
du basson, capté par les microphones, et l'électronique. L'interprète ne contrôle aucun paramètre. 
Le son du basson est simplement capté à l'aide de deux microphones, alimentant ainsi le contenu 
sonore à partir duquel le programme va travailler, selon une structure planifiée et composée. 



17. Dans l'Annexe C.DVD1 (4) vous trouverez les échantillons sonores, classés para ordre d'apparition dans la partition. 

18. Dans l'Annexe C.DVD1 (5) vous trouverez les échantillons sonores, classés par ordre d'apparition dans la partition. 
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Dans la pièce Interzone, Lloopp (19) est un patch Max/MSP qui met en jeu des processus 
d'improvisation. L'interface est en réalité un accès permanent et opératoire destiné à 
l'improvisation. 

Au fur et à mesure des différentes sections de la pièce, des phrases et des indications, relatives au 
caractère et aux morphologies sonores de chaque section, guident l'interprète improvisateur. 

Chaque section d!Interzone propose, grâce à la programmation informatique et la partition du 
basson, une temporalité très différente entre le son du basson et le son électroacoustique. Le 
rapport temporel relevé entre ces deux éléments se fonde sur l'idée de retard entre la source 
sonore et le résultat électroacoustique, car l'idée de l'oeuvre travaille sur le concept de mémoire. 
Dans la première section de la pièce, le son électronique généré se fait entendre avec un retard 
d'environ seize secondes, le temps de l'enregistrement complet d'une séquence de basson. 

Une polyphonie avec l'instrument est alors réalisée. Dans la deuxième section, un retard de 
quatre secondes a lieu en raison du traitement intermittent des séquences enregistrées. 

Le signal de la source sonore est utilisé pour produire des objets sonores qui apparaissent et 
disparaissent de façon intermittente. La troisième et la cinquième section sont des improvisations 
électroniques en temps réel en fonction de morphologies sonores déterminées au préalable. La 
quatrième section combine les retards déjà utilisés aux sections une et deux, mais en créant une 
plus grande complexité dans les rapports entre la source et le matériau traité. La quatrième 
section est basée sur l'idée de densification, accumulation et dégradation. 

- Le SMI: le SMI a pour fonction de produire une réponse sonore à la réception d'une 
information en entrée du contrôleur. 

. Le Tailleur de Temps dans l'Interzone: 

- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle Score-driven Systems, 
du modèle à réponse répétitive et du modèle interprète. Ces modèles permettent de créer un son 
homogène et qui reste toujours fixe dans chaque interprétation. 



19. On peut télécharger le patch Lloopp sur le site: ( http://ppooll.klingt.Org/ l 
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La création d'un instrument unique en favorisant une fusion du son instrumental et électronique 
était l'un des objectifs à réaliser. Le SMI est équipé d'un ordinateur avec un patch Max/Msp 
(Figure 3.90), deux microphones et une pédale MIDI de déclenchement de séquences. 

. Interzone : le SMI également conçu de la même manière que précédemment, et est équipé de 
deux ordinateurs avec leur patch Max/Msp et le patch Lloopp, deux microphones et un clavier- 
contrôleur MIDI Max/MSP (Figure 3.91). 



Le Tableur de Temps dans llntenone (version electroarustica - SMI) 
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Figure 3.90: L'interface du patch Max/Msp permet à l'assistant informatique de régler l'entrée et 
sortie du son du basson et ainsi contrôler le mixage entre la partie instrumentale et l'électronique. 
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Figure 3.91: Schéma descriptif du système électroacoustique. 
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- Le système de captation sonore et le système de captation du geste physique du SMI : 

. Le Tailleur de Temps dans l'Interzone: Un microphone récupère le signal du basson pour 
amplifier chaque détail de l'action de l'instrumentiste sur la matière sonore, notamment à propos 
de la diversité des modes de jeu et de la finesse des articulations sonores. 

À l'aide du patch Max/MSP, un mixage est effectué entre les signaux du basson et ceux 
provenant de l'électronique. L'information provenant de la pédale MIDI est récupérée à chaque 
utilisation de la pédale, en fonction des indications dans la partition graphique. Au total, 
soixante-quatre interventions, à l'aide de la pédale MIDI, sont nécessaires pour déclencher la 
lecture ou l'arrêt des fichiers audio. 

Tous les fichiers audio déclenchés par l'instrumentiste sont lus en boucle, selon une certaine 
durée. En effet, l'instrumentiste a besoin d'un temps minimum pour l'audition des sons, ce qui 
lui permet d'avoir une écoute a minima pour contrôler son action musicale sur ceux-ci. C'est la 
raison pour laquelle il apparaît nécessaire et judicieux de laisser à l'interprète le soin du 
déclenchement des fichiers audio, de manière à favoriser une cohérence temporelle accrue. Par 
conséquent, l'interprète bénéficie d'une liberté expressive et décisionnelle importante. 

. Interzone: La captation du signal acoustique du basson est réalisée à l'aide de deux 
microphones. Le premier est placé au niveau du pavillon de l'instrument et le second est situé sur 
la partie inférieure du corps, tout près des clefs et des résonateurs. 

Le patch Max/Msp Loopp destiné à l'improvisation électronique répond aux commandes via les 
touches du clavier et de la souris de l'ordinateur (Figure 3.92). Le contrôle du patch Max/Msp 
destiné au traitement du signal du basson se fait au moyen du clavier-contrôleur MIDI qui sert à 
la manipulation de plusieurs paramètres liés au traitement simultané des données (Figure 3.93, 
3.94). 



220 




Figure 3.92: Ici, le basson est capté par deux microphones et l'assistant musical improvise avec 

le patch Max/MSP Lloop. 
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Figure 3.93: Le rectangle gris (en haut à droite) représente un accès aux données dont les valeurs 

sont contrôlées avec le clavier MIDI. 
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Figure 3.94: Interface de traitement sonore (patch Max/MSP) qui permet de sélectionner toute 
configuration préétablie (presef) de la partition. 



- Le moteur et le son résultant du SMI : 

. Le Tailleur de Temps dans l'Interzone: pour avoir cette homogénéité entre le son très granulaire 
du basson, développé dans la partition, et le son de la partie électronique, nous utilisons 
quarante-cinq échantillons sonores de différentes durées. Les échantillons proviennent de 
l'enregistrement du son granulaire de disques vinyles. Le moteur du patch procède au 
chargement et au déclenchement des fichiers audio à l'aide de plusieurs buffers utilisés 
simultanément. 
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. Interzone: le patch Max/Msp Loopp, destiné à l'improvisation, permet la production de sons 
électroniques tels que sinusoïdes, ou de sons obtenus à partir de synthèse FM, de modulation en 
anneaux, ou encore en utilisant des filtres de bruit, etc.. Loopp permet le déclenchement de 
plusieurs fichiers audio et les variations de leur vitesse de lecture. 

L'ensemble des traitements peuvent être appliqués simultanément, mélangés et mixés (Figure 
3.95). Le patch Max/MSP de traitement en temps réel du basson est écrit pour obtenir une 
déformation des sons sources instrumentaux, introduisant du bruit afin de donner un caractère 
plus complexe au son. La captation de la source instrumentale se fait lors de la performance, au 
cours de laquelle, à l'aide d'une fonction de retard variable, les fichiers audio obtenus sont lus à 
différentes vitesses. Un traitement audio est également utilisé, qui consiste à appliquer des effets 
de distorsion, des filtres et à utiliser des fonctions particulières codées dans des objets Max/MSP 
tels que squelch ou disarray. 

L'utilisation de ces outils obéit à des moments musicaux en fonction de la section de la pièce. 
Nous avions vu que le programme offre la possibilité de réaliser de la synthèse FM et de 
procéder à des lectures de séquences sonores créées préalablement en studio. 
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Figure 3.95: PafcA Lloopp. 

- La mise en correspondance du SMI: 

. Le Tailleur de Temps dans l'Interzone : à l'aide d'une pédale MIDI, un signal est envoyé vers le 
patch Max/MSP. La pédale sert simplement à parcourir une incrémentation préalablement établie 
qui, au moment opportun, agit sur le compteur événementiel (Figure 3.96). La mise en 
correspondance est de type unitaire. 

. Interzone: mous avions pour objectif le contrôle en temps réel d'un certain nombre de 
traitements simultanés appliqués aux nombreux fichiers audio. Cette disposition permet une 
articulation plus efficace d'un point de vue technique (zones de coupures, changements rapides 
de modalités de lecture des fichiers audio) mais aussi musicales (crescendo, diminuendo, etc.). 
Cinq accès sont déterminés via cinq potentiomètres du clavier contrôleur MIDI. Une simple mise 
à l'échelle des 128 valeurs MIDI à une échelle comprise entre et 100 pour les niveaux de sortie 
audio permet un contrôle à l'aide du contrôleur MIDI. La mise en correspondance est de type 
divergente. 
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Partition du SMI et /ou partition instrumentale : 



. Le Tailleur de Temps dans l'Interzone : l'ensemble des événements que le bassoniste doit 
déclencher peut être considéré comme faisant partie de la partition du SMI. Les moments précis 
d'interventions à l'aide de la pédale sont graphiquement indiqués dans la partition du basson, de 
telle sorte à obtenir une synchronisation efficace. (Figure 3.97). 
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Figure 3.96 : Sub-patch qui permet la distribution de bang (impulsions) en suivant 
l'incrémentation numérique (active et désactive les sons). 
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Le Tailleur de Temps dans l'Interzone 
(Version etectroacusttca) 

Fagot ampliftcado y musica de-ctronica (SH) 
Joan Gagés i Rubi - Paris 201 
DedlcaŒ a Darne SarnStnral 




'/ Plff "Si' -S l> mf !• mj ,, mf 



Figure 3.97: Les numéros correspondent aux interventions de l'instrumentiste à la'aide de la 

pédale MIDI. 

. Interzone : différents éléments constituent la partition musicale. La partition est écrite en 
utilisant une notation musicale déterminée, qui toutefois autorise une marge d'improvisation et 
par conséquent une forme d'interaction. Par exemple, l'instrumentiste modifie le tempo ou encore 
choisit parmi les différentes entrées et sorties des sections (Figure 3.98). En actionnant les 
traitements en fonction de la partition, une évolution au travers de la forme préétablie se produit 
en concert. Le clavier-contrôleur MIDI sert à l'interaction en agissant sur le traitement du 
basson. Grâce à des indications graphiques et des notations sous formes de mots descriptifs à 
chacune de sections de la pièce (Figure 3.99), la partie de musique électronique improvisée est 
réalisée par un troisième musicien à l'aide du patch Loopp. 
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Figure 3.98 : Ci-dessus, la partition utilisée conjointement avec le patch Lloop. Certaines 
indications relatives au déroulement de la pièce y figurent, ainsi que le type de morphologies à 

réaliser à chaque section. 
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Figure 3.99: L'extrait ci-dessus (section 4) montre une réduction des contraintes puisque seules les 

indications relatives aux notes et aux effets instrumentaux subsistent, tandis que les occurrences et 

les durées restent soumises à l'action de l'instrumentiste en fonction d'une écoute globale de la 

pièce. 
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3.2.24 La compréhension de l'interaction sonore 

Une préoccupation importante concerne la notion de l'intelligibilité du geste dans le 
contrôle de l'interactivité ou de l'interaction. La relation entre le geste et le résultat perçu est un 
élément indispensable à considérer lors de la conception et de l'élaboration d'un SMI 

La compréhension gestuelle peut osciller entre des pôles qui vont de la relation cause à 
effet à une complexification où il devient très difficile de savoir quelles sont les gestes qui 
produisent un résultat sonore particulier. 

Il n'y aurait pas de bonne ou de mauvaise solution, car le choix d'un niveau de 
compréhension dépend toujours de la nature du projet artistique lui-même ou encore de 
l'application interactive. Cependant, la création de différentes couches de relations qui soient 
compréhensibles peut s'envisager selon un large éventail, allant de l'interaction triviale aux les 
plus évidentes et efficaces aux interactions discrètes. 

Un SMI peut donc présenter plusieurs niveaux de construction et tout autant de niveau de 
compréhension. Dans un même SMI, des éléments et des relations interactives peuvent coexister 
avec une autre partie, programmée, qui produit des relations d'interaction. Ces différents degrés 
peuvent être plus ou moins explicites, tant pour l'interprète que pour l'auditeur. Cette réflexion 
été largement exposée dans le projet EMSTI. Car leur limitations cognitives des enfants 
handicapés ont déterminé le choix du type d'interactions à proposer. 



Sujet sous forme de 
question(s) 

- Comment favoriser une 
compréhension interactive ? 

- Quelles sont les relations 
entre le niveau de 
complexité d'un SMI et le 
niveau de compréhension de 
l'utilisateur ? 



Explication du sujet 



Comprendre la nature des 
relations entre geste et son 
perçu. Étudier le niveau de 
complexité qui peut être 
atteint au niveau des 
interactions, sans pour autant 
compromettre leur 

compréhension. Doter le 
projet musical d'interactions, 
offrant un intérêt allant au- 
delà du défi purement 
technologique. 



Pièce(s) 



Arc en Ciel : dans cette pièce 
électroacoustique pour 

percussion et électronique, le 
SMI est conçu en vue d'une 
compréhension de la notion 
d'espace sensible au geste, 
par les enfants participant au 
projet. 
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- Est-ce que la qualité 
artistique du propos musical 
ou sonore confère au plan 
cognitif un modèle qui 
faciliterait, justement, une 
intelligibilité globale? 

Pourrait-on s'entendre sur 
une forme d'évidence qui 
ferait relation entre les 
différents niveaux de 
complexité ? 
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3.2.25 Arc en ciel 



- Contexte de l'oeuvre : Arc en ciel est une pièce électroacoustique composée en 2005 au Centre 
de Loisirs C.A.E.L. de Bourg-la-Reine dans un contexte d'enseignement et d'éveil musical au 
sein de cette association. Incluse dans un projet pédagogique sur la musique électroacoustique, 
cette pièce a été conçue dans l'expectative de besoins pédagogiques et ludiques. Tous les 
participants ont expérimenté une activité autour d'une création sonore, à leurs niveaux respectifs. 
L'objectif étant une sensibilisation des enfants à la musique électroacoustique et à participer à 
des activités de composition et de la musique en groupe. 

Ce projet aura été une première approche de la mise en contexte et du recyclage d'objets 
informatiques, tels que les SMI, dans une activité de transmission avec des enfants. 

De semblables réflexions sur l'interaction, incluant des enfants, seront développées dans le projet 
EMSTI, ainsi que sur des SMI à destination de personnes atteintes de paralysie cérébrale, pour la 
plupart étant également des enfants. Ce dernier projet est présenté dans le troisième chapitre du 
présent travail de thèse. 



- Description de l'oeuvre: Arc en ciel est une pièce de musique électroacoustique, d'une durée de 
cinq minutes, pour instruments à percussion et électronique avec SMI. 

Composée entre les différents élèves d'une classe d'éveil musical, tous âgés de trois à six ans, 
Arc en ciel est en quelque sorte un condensé des concepts travaillés par ces jeunes élèves durant 
l'année, en fonction de leurs âges respectifs et de leurs niveaux d'appréhension de la musique. 

. Concept de représentation graphique d'une idée musicale: Une partition dotée d'une notation 

conventionnelle et une seconde partition pourvue d'une notation graphique autre. 

. Le concept d'articulation musicale. 

. Le temps musical. 

. La dynamique musicale. 

. Le concept de timbre musical. 

. Le concept de bruit et de son dans la musique. 

. L'expression musicale instrumentale et vocale. 

. La musique en groupe. 
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. Concept d'improvisation. 

L'ensemble de ces concepts et de ces idées musicales sont encadrés dans une vision 

contemporaine et actuelle de la musique afin de rapprocher les petits élèves au son et à la 

musique de nos jours, et leur donner ainsi, les outils nécessaires pour pouvoir l'analyser et la 

comprendre. 

À l'image de l'arc-en-ciel, qui n'est en réalité qu'un effet visuel qui se caractérise par la 
superposition de couleurs, l'arc-en-ciel dont il est question ici reflète quant à lui la superposition 
de différentes couches sonores ou de timbres, pour obtenir les trames polyphoniques nécessaires 
à la caractérisation de la pièce musicale envisagée. 

Chaque élève opte pour deux instruments à percussion (Figure 3.100). À partir de l'idée des 
superpositions de trames polyphoniques, chaque élève écrit sa propre partition en utilisant un 
graphisme arbitraire, dont le caractère symbolique est une convention entre eux. Jouées par les 
élèves eux-mêmes, leurs compositions contiennent aussi la partie de xylophone, à notation 
conventionnelle, interprétée par mes soins. 

Lors de la performance, le son du xylophone est capté par microphone, pour être ainsi traité 
selon deux paramètres du temps. 

L'enregistrement des différentes parties de percussion composées par leurs soins sert à construire 
la partie électronique fixe. Tout en respectant l'idée initiale qui consiste à mettre en évidence 
différentes couches de textures sonores se déroulant de façon concomitante, le travail porte sur la 
génération et le contrôle, à partir de gestes corporels, des éléments de musique électronique en 
temps réel. 

Le corps a dans ce contexte une fonction instrumentale. Accélération et décélération des tempi 
sont deux éléments similaires à ceux qui sont travaillés dans la partition graphique instrumentale. 
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Figure 3.100 : Instruments à percussion utilisés. 



- Le SMI: le SMI à été conçu selon un modèle d'interactivité qui tient compte des modèles du 
type performance-driven Systems, à réponse changeante-générative et instrumentale. Il est 
constitué d'un ordinateur, d'un microphone, d'une caméra webcam et du patch SAMPLER-WAV 
programmée en Pure Data. Il a pour fonction de: 

. Charger à l'aide au patch les fichiers audio contenant les séquences de l'électronique fixe. 

. Récupérer, via microphone, le son du xylophone pour traitement en temps réel. 

. Recevoir les informations du contrôleur. 

. Générer le son résultant de l'interaction. 



- Le système de captation sonore et le système de captation du geste physique du SMI: 
. Microphone 

. Caméra web 

- Le moteur et le son résultant du SMI: le moteur est constitué d'un buffer qui permet la lecture 
de la partie de électronique. Concernant ces séquences, le son est constitué d'un matériau 
granulaire et très fragmenté. Plusieurs couches de matière se superposent en opposition au son du 
xylophone capté en temps réel. 
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Le son produit une sensation d'accélération ou de décélération en vue d'obtenir des changements 
de tempi et de couleur de timbre. Le son du xylophone traité de cette façon permet d'obtenir une 
granulation très intéressante, qui se mélange parfaitement avec la partie l'électronique fixe. 

- La mise en correspondance du SMI : cette pièce a été composée dans un cadre pédagogique où 
le SMI a été utilisé de manière à ce que les enfants puissent en comprendre l'interaction. La pièce 
est proposée avec l'électronique en temps réel, où l'essentiel du travail repose sur le principe de 
cause à effet. C'est une caractéristique mise en évidence lorsque les mouvements de danse de 
l'enfant sont récupérés sous forme de données numériques à l'aide de la caméra (Figure 3.101). 

Une correspondance unitaire permet de sentir cette relation très directe entre geste et résultat 
sonore perçu: 

. Les mouvements vers le côté droit et vers le côté gauche sont mis en relation directe avec les 
valeurs d'accélération ou de décélération de la lecture des fichiers audio du xylophone, 
enregistrés en temps réel. 

. Les mouvements haut et bas sont mis en relation directe avec les valeurs de volume liés à la 
lecture du son du xylophone. 



movemeiu.detection.pd 




Figure 3.101: Patch programmé sous Pure Data permettant la récupération d'une information sur 
la position (x,y, z). Le carré blanc informe du suivi de position de la personne en face de la 

caméra. 
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. Les enfants interagissent avec les systèmes de captation du geste physique à différents moments 
de la pièce. Chaque fois qu'un enfant interagit avec le système, une fonction [random] détermine 
quelle valeur de contrôle gestuel (gauche, droite, haut, bas) sera associée à toute valeur de 
contrôle du moteur (accélération ou décélération, augmentation ou diminution du volume). 
L'enfant découvre avec ses gestes l'interaction proposée dans chaque cas de façon concrète 
(Figure 3.102). 



gauche w ^ 'accélération 
droite ^jK^> des-accélération 
haut-^ Xv^ hausser le volume 
bas^— abaisser le volume 



Figure 3.102: Possibilités multiples de relations entre valeurs de contrôle physiques et les valeurs 

du contrôle du moteur. 



- Partition du SMI et/ou partition instrumentale : la partition de ce SMI est constituée par 
l'ensemble des possibilités sonores programmées, ainsi que par l'éventail des articulations 
réalisables grâce au contrôleur. Cette interface nous permet de déclencher et de modifier tous les 
traitements en temps réel qui deviennent pour l'enfant un espace sensible (Figure 3.103) au geste 
physique. 
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Figure 3.103 : Interface graphique où l'on visualise l'interaction gestuelle. 
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3.3 Conclusion sur mes propositions personnelles d'utilisation des nouvelles technologies et 
des SMI dans mes travaux sonores et musicaux 



L'ensemble des travaux sonores et musicaux exposés dans cette deuxième partie du travail 
de thèse témoignent d'une production abondante. Celle-ci est inégalement répartie, et l'on 
constatera une relative disparité quant à la qualité du résultat obtenu sur l'ensemble de la 
production. Cette dernière montre que les systèmes musicaux interactifs disposent de réelles 
qualités pour la création musicale. 

Ils aident à l'invention et à l'élaboration de toutes sortes de projets artistiques, quels que 
soient les objectifs musicaux envisagés. La nature intrinsèque des systèmes musicaux interactifs 
permet une intégration efficace au domaine musical. 

Orienter le travail, à partir d'une telle production, vers des tests qui mettent à l'épreuve 
différentes possibilités des SMI a été bénéfique. C'est à ce point qu'il devient nécessaire de se 
doter d'une réflexion qui prenne en compte les éléments les plus intéressants à développer et à 
approfondir. Inévitablement, il s'ensuit une production moindre en faveur d'une plus grande 
qualité artistique. 



- Les modèles expressifs : le SMI construit selon les modèles suivants : le modèle dit 
performance-driven Systems, est un modèle qui rend une réponse changeante, générative et le 
modèle d'interprète offre une plus grande expressivité à l'utilisateur. Ils se caractérisent par une 
grande flexibilité et adaptabilité à chaque moment d'une pièce. Les modèles basés sur des 
relations d'interaction plutôt que sur une interactivité apporte à l'utilisateur une plus grande 
satisfaction grâce au renfort et au jeu suscité entre action et perception. Ce sont donc les SMI 
fondés sur les relations d'interaction qui changent et évoluent dans le temps, ce qui rend compte 
d'une perspective intéressante sur l'élaboration de systèmes complexes et expressifs. 

- Une complexité et une intégration de l'outil : construire et penser un SMI en tenant 
compte des impératifs liés à l'intégration implique inévitablement, c'est ce qui aura été constaté 
dans mes travaux, une complexité dans la programmation. Créer de tels systèmes musicaux 
interactifs requiert un effort supplémentaire auquel s'ajoute les difficultés liées - à proprement 
parlé - à l'écriture musicale. 
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Par exemple, la composition et l'écriture symboliques impliquent une complexité dans le 
temps. La difficulté réside en ce que les concordances qui s'opèrent entre programmation et 
écriture ne doivent pas être arbitraires au sens de l'incidence hasardeuse. Il faut donc faire 
nombre de tests de paramétrage et d'ajustements, voire d'un auto-apprentissage. 



- Une pérennité des oeuvres : bien que la nature propre des SMI soit caractérisée par la 
flexibilité dans la construction des relations entre différents éléments, il apparaît que cette réalité 
numérique peut varier en fonction de notre conception d'une pièce sonore ou musicale. Cette 
conception provient des notions fondamentales de fmitude, de dépendance et une immanence du 
monde analogique. Je crois que composer et créer avec les nouvelles technologies, et par 
conséquent à l'aide de systèmes musicaux interactifs, implique un changement de paradigme : 
les pièces ne sont pas pensées d'emblée pour durer dans le temps. Elles ne constituent pas de 
corps transmissible, ni un répertoire destiné aux générations futures. En cela la production 
musicale qui fait appel à de telles technologies est purement le fruit de l'instant, du contexte de 
création et des outils technologiques disponibles et des développements actualisés des 
programmes informatiques (pluggins) utilisés. Que se passe-t-il avec les oeuvres produites, 
lorsque par exemple des environnements tels que Max/MSP ou Pure Data sont mis à 
contribution ? Les versions logicielles, les actualisations informatiques et les ordinateurs 
évoluent plus rapidement que la diffusion des œuvres elles-mêmes. Fixer les oeuvres comme si 
celles-ci étaient immuables est une erreur et est voué à l'échec. La pièce doit être flexible, 
s'adapter au temps et aux circonstances. 

- Les oeuvres sont modulables : c'est par le concept ou l'idée d'un réseau de relations 
interactives que le SMI se construit. C'est ce réseau de relations qui définit et caractérise une 
pièce. Les SMI sont les outils qui facilitent l'apparition de l'oeuvre. Mais l'oeuvre est immatériel 
et ne prendra forme qu'en fonction de l'outil utilisé. La pièce devient une sorte d'organisme 
devant changer dans le temps et qui prend de nouvelles formes dans le cadre de futurs projets. 
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- Il faut travailler avec ce qui est réellement propre des SMI : la capacité de faire des 
calculs à grandes vitesses en temps réel, de prendre des décisions au travers de fonctions random 
pour obtenir des résultats inattendus, favoriserait une interaction entre action et perception. 



Ainsi, il me semble intéressant d'explorer une oeuvre de base avec un fort concept mais 
qui, à chaque interprétation, différerait sensiblement dans sa forme, voire dans une partie de son 
contenu, tout en étant la même oeuvre. À partir d'une forme particulière, il est possible 
d'explorer l'idée d'oeuvre ouverte, en repoussant les limites des processus de détermination hors- 
temps. La composition en temps réel et la construction en temps réel d'une lutherie instrumentale 
sont des champs à prendre en compte. Certaines tendances musicales actuelles comme le live 
coding in Max/MSP (20) favorisent la construction en temps réel de l'instrument et de l'écriture 
musicale. L'oeuvre devient un espace sensible non seulement au geste mais aussi selon les 
structures internes à l'oeuvre qui est construite. En jaugeant, à mesure que se présentent les 
situations, les décisions qui sont prises alors influent et conditionnent non seulement le matériau, 
mais aussi les structures et les interactions musicales. 



- Les SMI renforcent les possibilités d'une musique de code ouvert : les frontières entre 
installation sonore, composition, improvisation et lutherie numérique se font floues. Elles sont 
diluées pour construire une nouvelle entité sonore et musicale. 



Comme je l'ai déjà mentionné à propos de l'oeuvre Màs de Mil ojos nos vigilain, quelques 
éléments de conclusion se trouvent être latents, ils sont exposés ici : 



- Les SMI génèrent des moments d'interaction distincts qui ont une incidence manifeste 
au niveau formel. 



20. Live coding in Max/MSP : ( http:,7w ww.incliisivciinprov.co.uk/ 
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- Des processus d'interaction se combinent avec des processus interactifs. 

- Aux séquences sonores prédéterminées se combinent des traitements en temps réel 

- Les dispositifs technologiques s'incorporent dans le concept de l'oeuvre. 

- Parmi les technologies utilisées, certaines sont issues d'autres domaines que celui de l'art. 

- Le SMI incite l'interprète à une participation active dans le processus de réalisation de l'œuvre, 
en produisant des espaces sensibles au geste et à son intelligibilité. 

- Le SMI participe aux enjeux qui convoquent perception, mémoire et attente de l'auditeur. 



Les pistes exposées ici sur la façon dont le travail de création pourrait être orienté fait la 
démonstration que l'expérimentation et la recherche d'une cohérence est propre aux systèmes 
musicaux interactifs. 



240 



Troisième partie 

Environnement multi-sensoriel thérapeutique interactif pour des utilisateurs avec paralysie 

cérébrale (EMSTI) 
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Chapitre 4 

SMI et handicap 

Résumé du chapitre: 

Dans ce quatrième chapitre, j'aborde une situation créée par la relation entre le handicap et 
les applications interactives. J'y expose la particularité qui existe dans ce domaine et je précise 
les motivations qui ont permis l'abord de ce contexte d'action. Ainsi, il semble important de 
permettre au lecteur, tout en exposant ma recherche autour des principales applications 
thérapeutiques interactives qui existent sur le marché, d'en comprendre les contours. L'objectif 
est l'étude de propositions capables de susciter l'inspiration, d'une manière ou d'une autre, pour 
poser le cadre d'une proposition personnelle. Ainsi, les principales propositions existantes dans 
ce domaine sont étudiées et décrites dans l'état de l'art. L'exposition est faite en se focalisant sur 
un apport à la création de contenues sonores interactifs. Les dispositifs technologiques qui sont 
utilisés sont le système de captation sonore via microphone, le système de captation de 
mouvement, et celui qui concerne le geste physique par le biais de la vision artificielle. 
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Chapitre 5 

Propositions personnelles d'application des SMI dans un contexte d'handicap 

Résumé du chapitre: 

Tout au long de ce cinquième chapitre le projet EMSTI est développé. Ce projet relevé d'un 
contexte d'action particulière au-quelle j'ai tenté de proposer plusieurs applications et contenues 
interactifs pour de personnes attend de paralyse cérébral très sévère. Après avoir exposé le 
concept et objectifs du projet selon un profil particulière d'utilisateurs je propose plusieurs 
contenues interactifs base bases sur ma conception des SMI et selon mon expérience dans la 
création des SMI qui ont été développées à la deuxième partie de la thèse. Dans ce cinquième 
chapitre je propose l'élaboration des application et activités interactives bases sur un modèle 
artistique expérimentale qui utilise une certaine technologie, comme par exemple, le système de 
captation gestuelle par caméra web, développé à l'Association Provinciale de Paralyse Cérébral 
de Tarragone (Espagne), des plaques de pression sensibles et la télécommande la Wii. Ainsi, je 
développe de contenues sonores crées selon un approche biosemiotique que j'ai fondé sur des 
ISO de Rolando Benenzon et de Unités Sémiotiques temporelles. L'objectif c'est de concevoir 
des SMI compréhensibles par le profil d'utilisateurs du projet et qui sont basées sur une 
interaction principalement du type cause - effet. 



508 



5. 1 Le projet EMSTI 

5.1.1 Concept et objectifs 

EMSTI est un projet en cours de développement au sein de l'Association de Paralysie 
Cérébrale de Tarragone (APPC) en Espagne. Ce projet est axé sur le développement d'un 
environnement multisensoriel thérapeutique interactif qui permet, grâce essentiellement aux 
techniques de vision artificielle, de créer un environnement sensible aux mouvements en vue de 
la création et du traitement d'images et de sons. De cette manière, l'utilisateur du système reçoit 
des stimulations visuelles et sonores, qui sont le résultat de ses mouvements et de ses émissions, 
ce qui renforce son expérience de l'interaction. Les principaux bénéficiaires du projet sont les 
personnes atteintes de handicap et/ou de bouleversements cognitifs, sensoriels ou moteurs 
modérés et sévères (par exemple, les personnes atteintes de paralysie cérébrale). Un usage par 
des personnes sans handicap n'est cependant pas écarté. Les objectifs poursuivis au cours de ce 
projet de recherche et de développement sont : 

1 . Développement d'un système multisensoriel thérapeutique interactif qui intègre des capteurs 
de mouvement corporel et d'émission sonore, analyse l'activité de l'utilisateur et génère une 
réponse conforme à l'information d'entrée. Cette réponse prendra la forme d'image et/ou de son. 



2. Développement d'un module supervisé par le facilitateur dotant le système d'une capacité 
d'apprentissage et d'adaptabilité de telle sorte à ce que les contenus interactifs s'adaptent 
facilement aux préférences de chaque utilisateur. 



3. Le système développé doit permettre à ses utilisateurs de: 

-Disposer d'une activité hautement interactive, qui contribue à renforcer l'association de cause à 
effet chez les utilisateurs atteints d'un handicap plus ou moins profond. 

-Disposer d'un outil qui facilite ou permette l'expression et le jeu à des personnes dont les 
capacités physiques et/ou cognitives sont légèrement ou modérément limitées. 
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4. Étude des effets provoqués par l'utilisation du système sur les participants. 

5. Développement de l'utilisation du système dans des environnements réels. Pour cela, une 
emphase particulière est mise sur les aspects suivants : 

- Emploi d'une technologie au coût faible, généralement destinée à la grande consommation 
(ordinateurs personnels, webcams, etc.) 

- Insistance sur le critère d'utilisabilité, qui rendra aisées l'utilisation et la personnalisation du 
système aux proches de l'utilisateurs (en particulier aux éducateurs). 



5.1.2 Caractéristiques techniques du système 

- Le système propose un cadre de travail permettant de mener à bien, au moyen de capteurs sans 
contact, une série d'activités interactives adaptables, destinées aux personnes atteintes d'un 
handicap cognitif, physique ou sensoriel, modéré ou sévère (telles que les personnes atteintes de 
paralysie cérébrale, entre autres) (Figure 5.1). 

- Le système tient compte de 3 acteurs: l'utilisateur final (la personne handicapée), le facilitateur 
(la personne qui accompagne l'utilisateur final durant le déroulement de la séance) et la personne 
qui configure l'activité. 

- Le facilitateur est une personne proche de l'utilisateur (généralement, un aide-soignant, un 
professeur ou un parent) : 

. Il connaît l'utilisateur et ses préférences. 

. Il est capable d'interpréter le comportement de l'utilisateur. 
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- Un contenu interactif est un des éléments configurant un logiciel interactif : 

. Il reçoit l'entrée de plusieurs capteurs (caméra et microphone). 

. Il est pourvu de un à deux paramètres de contrôle, pouvant être modifiés en temps réel 
(généralement, paramètres de complexité et de richesse, bien qu'on en trouve également d'autres 
en fonction de l'activité). Ces paramètres modifient l'activité dans un espace caractéristique. 

. Il possède diverses sorties pouvant combiner image et son. 

. Il gère la mise en correspondance entre les entrées et les sorties. 

. Il est exécuté dans le cadre d'un wrapper, chargé du stockage de l'activité (entrées, sorties et 
paramètres) en vue d'une étude postérieure. 

. Il emploie des recours additionnels (fichiers sonores, images et instruments de musique) 
personnalisés pour chaque utilisateur. 

. Il spécifie un profil d'utilisateur pour lequel l'activité est adaptée; ce qui permet de savoir à 
l'avance si une activité est appropriée ou non pour un utilisateur donné. 



- Le système est capable d'assimiler un comportement adaptatif et d'en faire preuve. La phase 
d'apprentissage est supervisée, en principe, par le facilitateur. 



- Le facilitateur possède un dispositif, équipé d'une commande à distance (un PDA, par 
exemple), qui lui permet de manier le système tout en prêtant attention à l'utilisateur. Celui-ci 
permet de: 

. Choisir une activité. 

. Modifier les paramètres du dispositif. 

. Communiquer au système si l'activité plaît ou non à l'utilisateur. 
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Figure 5.1: Composants du système idéal que nous nous sommes proposés pour le projet EMSTI. 



5.1.3 Profil d'utilisateur 

J'ai déjà évoqué auparavant que nos efforts se concentrent, parmi toutes les personnes 
atteintes de paralysie cérébrale présentes dans le centre, sur celles souffrant de bouleversements 
graves ou profonds; c'est à dire présentant un déficit d'attention, de mémoire, du langage et/ou du 
raisonnement, associé à des problèmes moteurs et/ou sensoriels (spécialement de vision et 
d'audition). Pour chaque utilisateur, nous avons établi un profil avec les informations suivantes : 

- Coordonnées: nom de l'utilisateur, date de naissance, genre, diagnostic médical, etc. 

- Ontologie avec le profil fonctionnel. Le profil fonctionnel de l'utilisateur (physique, cognitif et 
sensoriel) se configure à l'aide d'une ontologie. Nous nous sommes particulièrement intéressés 
aux habilités nécessaires à une interaction avec les activités proposées. 
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Cette ontologie s'adapte à plusieurs reprises (au moins, deux) en fonction de l'évolution des 
activités et avec les objectifs suivants : 

. Sélectionner les activités. Activités qui soient appropriées à l'utilisateur en fonction de ses 
habilités (on ne proposera, par exemple, pas à un utilisateur non-voyant une activité axée sur 
l'image). 

. Documenter, de façon adéquate, les cas d'étude. 

. Etudier les progrès de l'utilisateur tout au long de la période d'expérimentation (en isolant 
différents éléments de l'ontologie à différents moments de cette expérimentation) 

. Tenter une généralisation des résultats (en essayant notamment de créer des groupes 
d'utilisateurs). 

Une des caractéristiques propres à la PC est qu'il n'en existe pas deux cas similaires. Le 
cerveau est affecté dans tous les cas. Tout dépend ensuite du degré et de la localisation de cette 
affection ainsi que de son éventuelle répercussion dans une ou plusieurs parties du corps; 
l'affection sera également différente en fonction de la partie du corps qui est touchée. Au niveau 
cognitif, les personnes atteintes de paralysie cérébrale présentent toutes un retard au niveau de 
leur développement, allant d'un degré d'affection peu profond à plus sévère. Par profond, nous 
entendons une réaction très faible ou légère aux stimulations extérieures: une réaction 
imperceptible qui peut aussi prendre une forme quasi instinctive, proche de la survie (tel un 
nouveau-né pleurant lorsqu'il a faim ou face à un bruit fort et/ou inconnu, ou au contraire 
souriant à l'écoute de voix qu'il reconnaît, etc.). 

Les personnes atteintes par une affection grave sont, quant à elles, capables de se connecter 
avec le monde extérieur, de faire des pétitions et de répondre à des demandes (du moins, grâce à 
l'expression de leur visage). Elles comprennent les indications et les ordres d'une nature simple et 
immédiate. Ces personnes pourront même, à la suite d'un travail long et intense, parvenir à 
choisir entre deux options qui leur sont présentées. Si elles ont soif, par exemple, elles seront à 
même d'exprimer leur préférence entre un verre de lait ou de jus; ou de diriger leur regard vers 
un objet qu'elles désirent. 
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L'affection sévère se rapporte à des personnes capables de comprendre des discours brefs, 
des situations ainsi que des contextes. Ces personnes pourront parler, par exemple, de sujets 
d'actualité tels qu'un match de football. Elles n'en saisiront peut être pas le contenu dans sa 
totalité mais comprendront parfaitement, en revanche, le sujet global. 

Elles sont capables d'acquérir de nouvelles connaissances dans certaines limites, peuvent 
exprimer des sentiments, comprendre des plaisanteries ainsi que le double sens de certaines 
phrases. Elles savent mentir, différencier entre le bien et le mal au niveau de leurs actes, et 
reconnaître les personnes qui constituent leur entourage quotidien. Les personnes atteintes d'une 
affection sévère sont également expressives et enthousiastes lorsqu'il s'agit d'explorer et de 
connaître le monde qui les entoure. 

L'ensemble de ces personnes présente, au niveau perceptif, certaines limitations, associées 
au niveau de leurs canaux sensoriels d'entrée et de sortie des informations. On les qualifie 
communément de personnes "plurideficientes". Le handicap sensoriel va différer en fonction de 
la ou des parties du cerveau affectées. Certaines personnes ne voient pas, d'autres n'entendent pas 
ou ne parlent pas, etc.. Dans de nombreux cas, l'organe en question n'est pas affecté; la lésion se 
situe plutôt au niveau du nerf ou des connexions entre l'organe et le cerveau, ou encore au niveau 
de la partie du cerveau qui traite cette information. Leur perception du monde va être par 
conséquent déformée et leur retard cognitif aggravé . 

Au niveau moteur, l'affection des extrémités peut toucher les deux extrémités supérieures ou 
les deux inférieures; ou encore la partie gauche ou la droite. On remarque, dans tous les cas, 
qu'une personne atteinte de paralysie cérébrale, dont la capacité cognitive est peu affectée, 
exercera davantage de contrôle sur son propre corps. 

Nous avons peu souligné auparavant une caractéristique commune aux personnes atteintes de 
paralysie cérébrale du centre de Tarragone: la possibilité d'exercer un mouvement horizontal, de 
forme plus ou moins consciente, avec la tête. En revanche, le contrôle vertical de la tête est plus 
difficile et diffère d'une personne à une autre. 

Il est important de souligner également que certaines personnes présentant une affection 
motrice ne sont pas atteintes de PC (syndrome de Rett, Angelman, Prader-Willi, etc.). 
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Un grand nombre de ces personnes, pour lesquelles aucun diagnostic n'a pu être fait jusqu'à 
présent (leur cas étant en cours d'étude génétique / chromosomique ou leur diagnostic étant 
inconnu), sont regroupées par conséquent sous le terme de PC. 

- Préférences. Le facilitateur a spécifié ici les contenus s'adaptant le plus à chaque groupe 
d'utilisateurs. Types de préférences : 

. Préférences au niveau des stimulations: par exemple, types de combinaisons de couleurs, 
paramètres sonores, concret vs. abstrait, etc. 

. Thématique: sujets des contenus concrets du son et de l'image (par exemple, photos de la 
famille, animaux, etc.). 

. Instruments de musique et partitions. 

- Données enregistrées pendant les séances. Pour chaque séance expérimentale, on a conservé 
l'information suivante (avec sa marque temporelle correspondante) : 

. Entrées des capteurs: streamings audio et vidéo. Les donnés provenant des capteurs. Données 
correspondantes à l'analyse des gestes et des émissions orales. 

. Activités sélectionnées pendant les séances et évaluation des paramètres de contrôle. 

. Sorties du système se présentant sous la forme de streams d'image et audio. 

. Enregistrement vidéo de la séance. 
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5.1.4 Modules de travail en vue du développement du système 

EMSTI est un projet complexe, pouvant être uniquement abordé du point de vue de 
l'interdisciplinarité et du travail conjoint entre des experts appartenant à diverses aires de la 
connaissance. Différents professionnels ont été ainsi mis à contribution afin de procéder aux 
développements suivants : 

- Développer l'application cadre dans laquelle s'intégreront le reste des modules du système. Elle 
permet de collecter les informations concernant l'activité des participants. 

- Développer le système de captation du geste utilisant la vision artificielle. 

- Développer la définition d'une ontologie caractérisant les capacités fonctionnelles d'une 
personne atteinte de handicaps multiples. 

- Informer les ingénieurs, ainsi que les autres professionnels impliqués, des effets du système sur 
ses utilisateurs, en vue de la création et de la validation de celui-ci. 

- Créer les contenus interactifs sonores et visuels. 

- Développer un module d'apprentissage et d'adaptation. 

- Développer les interfaces de l'utilisateur destinées au facilitateur (personne qui définira et 
guidera la séance de travail), en se centrant sur le critère d'utilisabilité avec, pour réfèrent, 
l'utilisateur. 
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5.2 Développement du module comportant les contenus interactifs 

Le module comportant les contenus interactifs visuels et sonores est un des plus 
importants du projet EMSTI. La réussite ou l'échec du projet va dépendre, en grande partie, de la 
création de ces contenus. Mon rôle, en tant qu'artiste sonore, consiste à faire des recherches sur la 
création des contenus sonores interactifs et à les développer. Parallèlement, une équipe d'artistes 
visuels s'occupe du développement des contenus visuels interactifs. 

Je suis en charge de la création des contenus et des modules sonores interactifs, devant 
offrir une possibilité de contrôle dynamique de nature diverse et adaptative. Mon apport 
personnel s'est donc fait dans les domaines de l'innovation et de la réflexion artistique sur les 
contenus sonores interactifs par rapport aux systèmes et prototypes existants déjà pour les 
personnes atteintes de PC. Pleinement conscient du public auquel je m'adresse, mon défi à été de 
créer plusieurs contenus interactifs, ainsi que des situations de contrôle gestuel, à partir de mes 
propres expériences menées dans le domaine de la création purement artistique. Ce qui implique 
un questionnement sur les moyens à mettre en oeuvre pour créer des situations interactives 
intéressantes et motivantes destinées à ce public spécifique. Des concepts d'ordre artistique qui 
m'intéressent en général (le type de contenu, la mise en correspondance entre la conception d'une 
idée et le résultat perçu, l'articulation d'un discours, la temporalité et l'exploration de différents 
systèmes de captation gestuelle) apparaissent ainsi dans le développement des contenus 
interactifs. 

Le système de captation visuelle au moyen d'une webcam est le principal système de 
captation utilisé dans ce projet. J'ai cependant essayé d'autres systèmes de captation alternatifs, 
qui doteront le système d'une meilleure capacité d'adaptation à chaque utilisateur. D'autres 
systèmes méritent en effet d'être évalués et testés, en plus de ceux déjà présentés dans l'état de 
l'art. 
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5.2.1 Contenus sonores interactifs 



Par contenus sonores interactifs nous entendons 



La création de contenus sonores 



Les contrôleurs des contenus sonores interactifs 



Le moteur sonore interactifs 



5.2.1 La création de contenus sonores 

Réservoirs de sons et de séquences sonores élaborés à partir d'une étude sur la perception du 
son par les personnes atteintes de PC. Nous devons en effet connaître les différents types de 
limitations sensorielles et cognitives, que ces personnes présentent, dans la perspective de créer 
adéquatement les contenus sonores. 

En tant que créateur sonore au sein du projet EMSTI, une de mes principales missions 
consiste à réfléchir sur les sons susceptibles de devenir des contenus interactifs et de procéder, 
dans un deuxième temps, à leur création. Étant avant tout un artiste sonore, je vais naturellement 
me centrer davantage, au cours de ce processus créatif, sur des modèles de création ayant pour 
critère l'excellence de la qualité artistique, que sur des modèles de représentation. Je suis 
essentiellement intéressé par la reconstruction créative des trois «étages» nécessaires à 
l'émergence du sens musical: niveau « acoulogique » (1) des objets; niveau intermédiaire du 
code et des structures de références propres à chaque tradition musicale; « niveau supérieur du 
sens » (2). 



1. L'acoulogie a pour objet l'étude des mécanismes d'écoute, des propriétés des objets sonores et des potentialités musicales de ces derniers dans 
le champ perceptif naturel de l'oreille. Chion, Michel. Guide des objets sonores, Paris, Institut National de l'Audiovisuelle et Bruchet/Chastel, 
1983, p. 94. 

2. Chion, Michel. Guide des objets sonores, Paris, Institut National de l'Audiovisuelle et Bruchet/Chastel, 1983, p. 96. 
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« Dans le système traditionnel, nous apercevions bien ces trois étages du langage musical. A 
un étage « acoulogique », si bien assimilé qu'il semblait quasi immuable, sans variantes 
possibles, correspondait un certain nombre de sons donnés par une lutherie bien déterminée, 
définissant un «musical» absolument épuré du « sonore ». Il y avait ensuite les structures du 
solfège; et (...) tout le code mélodique-harmonique (...) qui constitue bien évidemment le grand 
ensemble de référence traditionnel. Enfin, il y avait les oeuvres, dont l'économie interne assurait 
le sens » (3). 

De mon point de vue, la création sonore tente de reconstruire, d'une façon originale, 
expérimentale (au sens schaefferien), les liens possibles entre le niveau inférieur du matériel 
sonore et le niveau supérieur d'organisation du sens. 

«(...) dans la musique traditionnelle un niveau intermédiaire, celui des structures de 
références et des codes propres à chaque tradition, s'interpose entre ces deux niveaux et permet la 
communication» (4). 

Dans le cas de la musique contemporaine, ce niveau intermédiaire a été supprimé. 

« Comment, dans les musiques contemporaines qui abandonnent de telles structures de 
référence, passer directement du niveau des objets à celui de leur organisation, sinon en 
accordant étroitement les principes de cette organisation aux propriétés perçues du matériau ? » 
(5). 

Dans ce projet, mon approche des matériaux sonores et des possibilités de création d'un 
signifié sonore se rapproche davantage de la musique expérimentale. En même temps, il est 
nécessaire de garder en tête que ce projet va principalement s'adresser à des personnes atteintes 
d'un fort handicap. Le développement du projet sera donc guidé par certaines nécessités 
thérapeutiques même si celles-ci ne pourront pas, en définitive, être toutes satisfaites. Ce cadre 
est devenu, pour moi, un défi plus qu'une restriction artistique. 



3. P. Schaeffer. Traité tu donnes Objets musicaux, Paris, Seuill, 1966, p. 626. 

4. Chion, Michel. Guide des objets sonores,Paris, Institut National de l'Audiovisuelle et Bruchet/Chastel, 1983, p. 94/95. 

5. Chion, Michel. Guide des objets sonores,Paris, Institut National de l'Audiovisuelle et Bruchet/Chastel, 1983, p. 94/95. 
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Dans les premiers temps de développement du projet EMSTI, alors que les questions 
relatives aux types de sons à utiliser affleuraient, j'ai organisé une séance de musique 
électronique en temps réel (live electronics), à partir de sons, de séquences et d'objets sonores 
que j'avais composés. La séance s'est déroulée sous la forme d'une improvisation, au cours de 
laquelle j'utilisais certains sons et séquences sonores en vue de capter l'attention des enfants et 
d'interagir avec eux en temps réel, en fonction de leurs réactions apparentes. La source sonore de 
ces séquences était parfaitement reconnaissable dans certains cas, mais pas dans tous. La plupart 
des personnes atteintes de paralysie cérébrale ayant assisté à l'activité n'avaient jamais écouté 
auparavant ce type de sons et d'expression musicale. 

Le but de la séance fut atteint: stimuler les enfants et leur provoquer des réactions de 
surprise, de peur, de rejet, etc.. en utilisant un type de sons nouveaux ainsi qu'une forme 
nouvelle d'articulation du discours musical. 

Bien que l'activité ait fonctionné dans l'ensemble, elle a soulevé un certain nombre de 
questions. Comment savoir si les sons et les séquences sonores proposés leur plaisent ou non ? 
Comment savoir si ces sons ne leur nuisent pas? Quels critères suivre dans le choix entre tel et 
tel son ? 

Pour répondre à ces questions, quelques réponses pouvaient être cherchées du côté de 
disciplines telles que la musicothérapie, qui étudie, depuis des années, les effets et les propriétés 
du son et de la musique dans un but de thérapie psychique (6). 

Dans le livre "Sonido Comunicaciôn Terapia", le psychiatre et psychanalyste Rolando 
Benenzon propose un modèle théorique, qui explique les contenus latents et l'action 
thérapeutique, en prenant le son et la musique comme objet intermédiaire. Dans ce sens, 
Benenzon trace un modèle théorique pour la musicothérapie, à partir de l'investigation d'un 
modèle de communication non verbale nommé Musicothérapie Didactique (MTD) (7). Celle-ci 
consiste en une expérience de communication de groupe se fondant sur le son et la musique, 
générée librement par les personnes qui y participent. 



6. Musicothérapie. Dictionnaire Larousse. 

7. Benenzon, Rolando O.; Hemsy de Gainza, Violeta; Wagner, Gabriela. Sonido Comunicaciôn Terapia. Salamanca, Amaru (Colccciôn MUSICA, 
ARTE Y PROCESO), 1997. 
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Benenzon rapporte que la présence d'un canal de communication, entre un thérapeute et son 
patient, dépend de la correspondance entre le temps mental du patient et le temps sonore-musical 
exprimé par le thérapeute. 

Ce phénomène est connu sous le nom de principe d'ISO (8), formulé par Altshuler (Benezon, 
1997). 

Benenzon a reformulé ce principe, le transformant en un concept totalement dynamique, qui 
redéfinie la notion d'existence d'un son ou d'un ensemble de sons, des phénomènes acoustiques et 
des mouvements internes qui caractérisent et individualisent chaque être humain. 

Cette méthode, testée également auprès d'enfants autistes, montre que le principe d'ISO 
concentre les archétypes sonores onto et phylogénétiquement hérités. À cette base, s'ajoutent 
progressivement les expériences sonores, les vibrations et les mouvements ressentis au cours de 
la vie intra-utérine de l'individu. Toutes les expériences postérieures continueront à caractériser 
l'ISO de chaque individu. 

Benenzon rapporte que : 

Pendant des millénaires, les phénomènes sonores corporo-sonoro-musicaux ont stimulé de 
forme répétitive et quotidienne les individus. Ces stimulations ont provoqué des perceptions et 
des sensations qui se sont logées, de manière dynamique, dans l'inconscient de chaque individu. 
De cette manière, on a continué à structurer l'identité universelle, l'ISO, qui est une des 
caractéristiques du genre humain et des individus qui le composent. Ces cautions dynamiques, 
forgées au cours des millénaires, ont créé des modèles originaux et primaires, véritables 
prototypes comparables aux archétypes de Jung (9). 

Benenzon différencie cinq structures dynamiques se dégageant à partir de l'apparition de 
l'ISO : 

. ISO Universel et ISO de la Gestalt. 
. ISO Culturel et ISO Complémentaire 
. ISO Collectif 



8. ISO en Grec veut dire "égal". Dictionnaire Larousse. 

9. Benenzon, Rolando O.; Hemsy de Gainza, Violeta; Wagner, Gabriela. Sonido Comunicaciôn Terapia. Salamanca, Amarù (Colecciôn MUSICA, 
ARTE Y PROCESO), 1997, p. 22. 
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- ISO Universel : l'ensemble de ses sonorités forme une mosaïque génétique héritée. L'ISO 
universel serait formé par des archétypes sonores : 

. Le battement cardiaque, avec sa structure de rythmes binaires. 

. Les sons produits par l'inspiration et l'expiration. 

. Les sons de l'eau. 

. Le vent. 

. Le rythme inhérent à la marche. 

. Les mouvements ancestraux. 

. Les systèmes de messages des animaux, en particulier des baleines et des dauphins. 

À ces sonorités primitives, il faut ajouter d'autres sonorités, introduites par l'évolution de la 
race humaine et de la civilisation comme, par exemple, les sons obtenus au moyen de tubes, tels 
que la corne, les tiges de bambou ou les hochets; l'apparition des intervalles et de certaines 
échelles. L'échelle pentatonique a sûrement été intégrée, de manière dynamique, au noyau de 
l'ISO Universel. Elle se retrouve, en effet, dans de nombreuses mélodies de chansons d'enfants à 
travers toutes les cultures du monde. L'ISO Universel est donc l'identité sonore dynamique qui 
caractérise l'ensemble des êtres humains, indépendamment de leur contexte. 

À partir de là, tous les phénomènes sonores, liés au mouvement et à la gravité, que 
l'embryon perçoit, vont s'ajouter aux structures de l'ISO Universel. Ces structures, ou archétypes 
sonores, sont donc traversées par un mouvement perpétuel. 

- ISO Gestalt : Pendant les premiers mois de gestation, le foetus reçoit des stimulations 
provenant de trois sources distinctes: 

. EXTÉRIEUR : À travers le liquide amniotique: voix, dont particulièrement celle du père; bruits 
de l'environnement social; sons musicaux culturels; vibrations non identifiables; phénomènes 
acoustiques divers. 

. INTÉRIEUR DE LA MÈRE : Voix de la mère ainsi que son rythme d'inspiration et d'expiration; 
battements cardiaques; craquements des parois utérines; sons articulaires et musculaires; sons 
propres au fonctionnement global de l'organisme; mouvements gravitationnels; autres 
phénomènes non identifiables. 
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. CORPS DU FOETUS : Flux sanguin; respiration; thermorégulation; fonctions vitales; propre 
battement cardiaque; phénomènes sonores liés au fonctionnement de l'organisme. 

Le mouvement dynamique de ces structures et stimulations va configurer les caractéristiques 
sonores propres à un individu créant, par là, une identité sonore unique. 



- ISO Culturel : Avec l'avènement du préconscient, de nombreuses stimulations apparaissent, 
créant une nouvelle structure tout au long de l'existence de l'individu: l'ISO Culturel. Ces 
stimulations sont perçues de façon consciente et offrent des structures plus complexes qui vont se 
répéter dans des circonstances spatio-temporelles semblables. L'ISO Culturel regroupe pêle- 
mêle: les voix des médecins et des infirmières du bloc opératoire; les pleurs des autres enfants; 
les différentes intonations de voix s'adressant au nouveau né; les phénomènes sonores 
onomatopéiques répétés d'un parent à un autre; les sons d'instruments de musique; la sonnerie du 
téléphone; la sonnette; les bruits de pas et de tapement du pied; le hochet; la boîte à musique; la 
radio; les rires; la toux; etc.. 

L'ISO Culturel est un produit de la configuration globale à laquelle appartient l'individu et son 
groupe. C'est l'identité sonore propre à une communauté sonore. 



- ISO Complémentaire : Cette structure est localisée, comme l'ISO Culturel, dans le 
préconscient. Ce noyau dynamique apparaît et disparaît, en relation avec l'état animique de 
l'individu, à un moment donné de sa vie. Le phénomène expressif d'un individu peut en résulter 
très éloigné par rapport aux phénomènes expressifs qui le caractérisent normalement. 



- ISO Collectif : C'est aussi une identité sonore changeante, qui apparaît et disparaît, lorsqu'un 
groupe d'individus partage à un moment donné des objets intermédiaires et des canaux de 
communication semblables. 
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Benenzon explique que toutes ces structures sont dynamiques, en perpétuel mouvement, et 
entretiennent constamment diverses relations entre elles. Le modèle, proposé par Benezon, 
s'attache à créer, dans une perspective de contrôle, des canaux de communication entre ces 
structures grâce à, ce qu'il nomme, l'objet intermédiaire. L'objet intermédiaire est un instrument 
capable de créer des canaux de communication en rendant plus souples ceux qui sont 
normalement rigides ou stéréotypés. Il constitue un objet déterminé amené à ouvrir des voies de 
communication avec chacun des différents ISO. 

Par exemple, dans un premier temps, l'ISO Gestalt et Universel donneront à l'objet 
intermédiaire le caractère instinctif et primaire d'un objet simple au moyen d'une expression 
pure, allant de l'imitation de sons primitifs, préverbaux comme le passage de l'air dans un tube, 
au frappement d'un rythme binaire, etc.. Dans un deuxième temps, le nouveau né devient un 
nourrisson; l'objet intermédiaire s'émancipe alors du corps de la mère et commence à être relié 
aux ISO Universel, Culturel et de la Gestalt du nourrisson. Au cours de cette étape, l'objet 
intermédiaire acquière les caractéristiques propres à chaque individu. Dans un troisième temps, 
l'objet intermédiaire perd les caractéristiques individuelles au profit du phénomène culturel et du 
milieu social qui l'entoure. La démarche thérapeutique de Benenzon propose de réaliser le 
chemin à l'inverse, à partir de la notion d'objet, en partant de la troisième étape pour arriver à la 
première. 

Il est intéressant de noter que les sons proposés par certains projets, cités antérieurement 
dans l'état de l'art, peuvent être classés d'après les différentes catégories d'ISOS établies par 
Benenzon. 

. ISO Universel : 

Échelle musicale pentatonique 

Frappes sonores rythmiques et monotones 

Bruits de pas 

. ISO Gestalt : 

EXTÉRIEUR : Basses fréquences. La voix et les sons vocaux utilisés comme source sonore en 
combinaison avec des bruitages digitaux. Brefs sons environnementaux. Sons de cloches. Sons 
d'orchestre. Sons frappants. 
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INTÉRIEUR : Textures sonores provenant de différentes surfaces et variant en fonction du type 
de mouvement (vitesse, direction, etc.) et des bruitages digitaux qu'on leur applique. 

CORPS DU FOETUS : Effet d'écho avec la voix du participant. Son de textures, de différentes 
surfaces, qui varient en fonction du type de mouvement (vitesse, direction, etc.) et des bruitages 
digitaux qu'on leur applique. 

. ISO Culturel : 

La voix et les sons vocaux utilisés comme source sonore en combinaison avec des bruitages 
digitaux. Sons brefs environnementaux. Sons de cloches. Sons d'orchestre. Sons liés à un 
imaginaire stéréotypé. Sons anecdotiques. Au fur et à mesure que la complexité sonore 
augmente, les sons acquièrent un caractère de plus en plus abstrait. Sons frappants. 

Le savoir-faire musical en général fournit une information très précieuse pour la création 
d'un discours musical et sonore dans ce contexte: les changements dans l'articulation sont plus 
importants que le contenu en soi. La reproduction de séquences alternant son et silence. Frappes 
sonores rythmiques et monotones. 

Le modèle des ISO, ainsi que les différents sons décrits jusqu'à maintenant, constituent un 
point de départ solide en vue de la création des sons et des séquences sonores, car ils permettent 
de savoir à quelle zone de l'âme humaine nous allons nous adresser. Soit à une structure interne 
spécifique pour chaque individu, soit à une structure plus universelle. Dans ce cas, le facilitateur 
choisira entre les différentes possibilités sonores, tout en sachant à quelle structure interne il 
s'adresse. 

Les sons et les objets sonores représentent une partie des contenus interactifs du projet, mais il 
est également nécessaire de créer des séquences sonores, c'est-à-dire, un discours sonore 
temporel qui implique la possibilité d'une interprétation sémantique. Ces contenus sonores 
permettront aux éducateurs et aux facilitateurs, au cours des séances de travail avec les enfants, 
d'articuler un discours sonore à partir d'une certaine intentionnalité. 

Pour élaborer ces séquences, j'ai pris comme point de départ les Unités Sémiotiques 
Temporelles créées par le Laboratoire Musique et Informatique de Marseille (10). 

10. Laboratoire Musique et Informatique de Marseille: f http://www.labo-mim.orgï 
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Les Unités Sémiotiques Temporelles sont des fragments sonores qui, même hors de leur 
contexte musical, possèdent une signification temporelle due à leur organisation (11). 

Les UST sont conçus à partir de la description type-morphologique des objets sonores 
élaborée par Pierre Schaeffer (12). Ceux-ci rendent possible l'utilisation d'un vocabulaire 
descriptif et d'un schéma de classification des sons selon sept critères morphologiques qui 
caractérisent l'écoute réduite (13). 

- Qui composent la Matière: la masse, le timbre harmonique, le grain. 

- Qui composent la Forme: la dynamique et l'allure. 

- Qui font référence à la notion de Variation: le profil mélodique et le profil de masse. 

Un autre type de classification, utilisée par Schaeffer, utilise trois types de critères fonctionnant 
par paires : 

- Morphologique. On s'attache à la facture de l'objet d'une part, et à sa masse d'autre part. 

- Temporel. On considère la durée de l'objet ainsi que les variations à l'intérieur de cette durée 
selon les critères précédents. 

- Structurel. On considère l'équilibre de l'objet, choisi parmi les structures possibles et, pour ce 
niveau structurel choisi, le degré plus ou moins grand d'originalité. 

Cette description requiert de l'auditeur une attitude particulière que Pierre Schaeffer nomme 
"écoute réduite". 



1 1. Favory, Math. Sci. hum~Mafhematics and Social Sciences (45 e année, n°178, 2007 (2), p.51-55). 

12. P. Schaeffer. Traité des Objets musicaux, Paris, Seuill, 1966, p.436. 

13. «L'écoute réduite est l'attitude d'écoute qui consiste à écouter le son pour lui-même, comme objet sonore, en faisant abstraction de sa 
provenance réelle ou supposée, et du sens dont il peut être porteur» .Chion, Michel. Guide des objets sonores,Paris, Institut National de 
l'Audiovisuelle et Bruchet/Chastel, 1983, p. 33. 
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Cette description type-morphologique n'est cependant pas utile lorsqu'on souhaite considérer 
la musique en tant qu'objet signifiant (14). Les UST semblent par contre être à même de nous 
aider dans cette approche. Différents fragments musicaux, extraits initialement du répertoire 
électroacoustique, ont été identifiés et regroupés, en fonction de leur morphologie et de ce qu'ils 
semblent communiquer par eux mêmes, faisant apparaître une classification d'équivalences, les 
Unités Sémiotiques Temporelles. 

On emploie le terme «Unités» car ces fragments font référence aux fragments musicaux; 
"Sémiotiques" parce qu'elles semblent avoir un sens; «Temporelles», enfin, car le sens de ces 
unités se manifeste en fonction de l'organisation de la matière sonore dans le temps. 

Les dix-neuf UST reposent sur le résultat sonore perçu, sur l'écoute. Notre intérêt envers les 
UST se porte davantage sur la sensation que chacune d'entre elles provoque que sur leur 
description morphologique. Chaque UST est donc décrite d'après les critères suivants: 

- Description morphologique. 

- Description sémantique. 

- Autres caractéristiques pertinentes et nécessaires. 

Les Dix-neuf UST ont été respectivement nommées: 

« Chute, Trajectoire inexorable, Contracté-étendu, Elan, Etirement, En flottement, Sans 
direction par divergence d'information, Lourdeur, Freinage, Obsessionnel, Qui avance, Qui 
tourne, Qui veut démarrer, Sans direction par excès d'information, Suspension-interrogation, En 
suspension, Par vagues, Stationnaire, Sur Verre ». 

La méthodologie utilisée pour découvrir et décrire les UST est purement empirique. Elle 
repose par ailleurs essentiellement sur des impressions perceptives et des raisonnements par 
analogie (15). 



14. Favory, Math. Sci. hum~Mathematics and Social Sciences (45 e année, n°178, 2007 (2), p. 51-55. 

15. Les Unités Sémiotiques Temporelles (UST). Un nouvel outil d'analyse musicale. Description et approche biosémiotique. M. Timsit-Berthier, 
Ph. Bootz, J. Favory, , M Formosa, J. Mandelbrojt, J. Paillard L.Pro'dhomme et M. Frémiot. Laboratoire Musique et Informatique de Marseille 
(MIM). 
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Elle a été mise au point à Marseille par une équipe pluridisciplinaire, comprenant des 
compositeurs, des peintres et des scientifiques. À l'origine de leurs hypothèses, se trouve une 
intuition provenant de leur pratique: certaines figures sonores semblent produire un effet 
kinesthésique et/ou avoir une certaine "signification" temporelle. Elles apparaissent dans des 
contextes divers et sous des formes différentes. Ce type de séquence peut ainsi évoquer des 
impressions d'accélération ou de ralentissement, parfois des impressions d'immobilité et 
d'éternité. En se basant sur cette intuition, cette équipe a élaboré un véritable répertoire de 
figures temporelles. Leur écoute ne se concentrait pas sur les successions de hauteurs, les 
cadences, les nuances mais sur le repérage de figures sonores en termes de vitesse (régulière ou 
non), de matière sonore, de trajectoire. 

Les UST sont des métaphores. Elles relèvent du domaine de l'intuition, de trouvailles 
données par l'imagination. Elles mettent en évidence un rapport inattendu, et sont susceptibles de 
faire suivre à d'autres personnes leur cheminement. Les UST peuvent communiquer un sens à 
tout un chacun même si elles ne diront jamais la même chose à deux personnes. Sur quoi repose 
leur pouvoir de séduction et de conviction? Ne renverraient-elles pas à des archétypes de 
mouvements ? 

Le problème, posé à des psychophisiologistes, consistait à trouver des correspondances entre 
des "figures temporelles" propres au langage des musiciens et des modèles temporels "naturels" 
qui émergeraient de nos expériences corporelles. Ce problème s'inscrit dans la perspective de la 
"biosémiotique". 

La biosémiotique étudie le fonctionnement de la communication et de la signification au 
sein des systèmes vivants. Elle postule que le processus de sémiose, c'est-à-dire le processus par 
lequel on attribue du sens, est à la base du fonctionnement de tout système vivant. Elle insiste sur 
la nécessité de prendre en compte le corps humain et son interaction avec l'environnement dans 
toute théorie de la signification (16). 

La biosémiotique est une science descriptive et interdisciplinaire. La pratique 
interdisciplinaire entraîne des associations entre des concepts appartenant à des registres 
différents. Ainsi la biosémiotique crée des relations originales entre des mondes originellement 
éloignés les uns des autres. 



16. Biosémiotique. (SebeokT 2001, Brier S.2000). 
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Cette démarche n'est pas récente et se trouve déjà à l'origine de réflexions chez Freud, Piaget, 
Gibson et Varéla. 

Que nous apportent ces différentes notions dans notre approche des UST? Peut-on trouver 
des correspondances entre ces concepts psychophysiologiques et les différentes UST ? Le groupe 
de Marseille rapporte que les UST peuvent évoquer des mouvements transitifs ou des 
mouvements passifs. Parmi ces derniers, les UST délimitées dans le temps et/ou comprenant 
plusieurs phases constituent un ensemble assez homogène; elles présentent une figure temporelle 
bien définie, qui évolue avec des ruptures, des changements, requérant une attention volontaire, 
soutenue. Elles peuvent nous renvoyer à l'organisation des mouvements transitifs intentionnels 
de type morphocinèse, c'est-à-dire, à des mouvements dont la finalité réside dans la production 
de formes, appréciées en elles mêmes et pour elles mêmes, et qui président aux relations de 
l'individu à son milieu social à des fins artistiques. 

En revanche, les UST évoquant des mouvements, mais n'ayant qu'une seule phase, et/ou 
n'étant pas délimitées dans le temps, semblent constituer un ensemble plus hétérogène. Les unes 
évoquent des mouvements transitifs à caractère topométrique (qui avance, lourdeur...); les 
autres, des mouvements subis passivement. 

Le groupe de Marseille a regroupé les UST en fonction des figures temporelles 
kinesthésiques et intentionnelles auxquelles elles pouvaient correspondre. 

Groupe 1: Il comprend les UST délimitées dans le temps, présentant des caractères de 
prévisibilité, de mobilité, avec des points d'appui et/ou des accélérations. La dénomination 
donnée par les musiciens évoque un trajet dans un espace tridimensionnel avec une finalité. Ces 
UST présentent des similitudes avec des mouvements transitifs, orientés vers un but. Elles 
suscitent l'attention volontaire de l'auditeur. On y trouve: Elan, Chute, Étirement, Freinage, 
Contracté-Étendu, Suspension-Interrogation. 

Groupe 2 : Il comprend les UST non délimitées dans le temps présentant des caractères de 
prévisibilité, de mobilité, comme pour le Groupe 1, mais sans accélération ni rupture. Les 
dénominations données par les musiciens se réfèrent à un espace bidimensionnel et évoquent des 
mouvements transitifs à caractère topométrique accompagnés d'une attention automatique. On y 
trouve: Qui avance, Lourdeur, Trajectoire inexorable, Obsessionnel. 
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Groupe 3 : Ce groupe réunit les UST non délimitées dans le temps, présentant certains 
caractères propres au groupe 2. Cependant, les mouvements évoqués semblent être subis 
passivement, sans intentionnalité. En effet, ils comprennent des réitérations, des accélérations 
variables sans prévisibilité. De plus, leur schème rythmique statique évoque des impressions 
archaïques que l'on retrouve aussi bien dans les bruits du monde intérieur (coeur, respiration), 
que dans les mouvements subis par le corps (bercement, balancement). Ils induisent une attention 
flottante. On y trouve: Par vagues, Qui tourne, Stationnaire. 

Groupe 4 : Ce groupe réunit les UST non délimitées dans le temps, sans mobilité et sans 
prévisibilité. Elles présentent une organisation temporelle floue. Les dénominations, que leur 
attribuent les musiciens, ne font par ailleurs pas référence à une quelconque notion d'espace. 
Aucune idée de mouvement ne peut être évoquée pour ces UST même si on peut faire une 
analogie avec les mouvements expressifs décrits par Buytendijk. On y trouve: En flottement, qui 
s'accompagne d'une attention flottante; En suspension, qui renvoie à un sentiment d'attente; 
Sans direction par divergence d'information, qui renvoie à une attention saturée par l'excès 
d'information; Sans direction par excès d'information, qui renvoie à un état de tension. 

Les UST « qui veut démarrer » et « sur l'erré » ne se trouvent pas dans cette classification 
qui met en relation les UST et les groupes de mouvements sus-mentionnés. 

Cette approche biosémiotique des UST renvoie aussi directement à la question du geste, et 
plus précisément à celle du geste contrôleur. Certains gestes significatifs, extraits des quatre 
groupes sus-mentionnés, pourraient servir à créer une relation étroite entre le geste physique et le 
résultat sonore perçu. Un des objectifs, en vue de la réussite de notre projet, va donc être 
l'établissement d'une relation compréhensible entre geste et résultat sonore. Cette dernière 
proposition sera traitée ultérieurement. 

Comme je l'ai évoqué précédemment, ma recherche sonore s'intéresse davantage à des 
modèles de création sonore qu'à des modèles de reproduction. Ce cadre théorique me sert de 
point d'ancrage pour la création des contenus sonores interactifs. Je m'intéresse aux énergies 
proposées par chaque son et, à partir de là, je trace de nouveaux sons, de nouvelles séquences et 
relations temporelles. Cette approche se démarque de la plupart des applications interactives 
proposées sur le marché aux handicapés mentaux sévères. 
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Le but est que ce projet, EMSTI, se transforme en un objet intermédiaire à même de créer des 
voies de communication pour les enfants souffrants de ces dysfonctionnements. 

Les ISOS de Benenzon offrent des sonorités et des mouvements qui renvoient à des 
archétypes très intimes et internes. Les UST proposent des figures temporelles à partir des 
éléments formés par des unités morphologiques globales. La biosémiotique nous renvoie, quant à 
elle, aux mouvements physiques et psychiques de ces unités sonores. 

L'emploi de ces éléments comme modèles, au cours du processus d'élaboration des sons et 
des séquences sonores des contenus interactifs, m'intéresse au niveau de la liberté de création 
qu'ils permettent. Bien que ces éléments soient avant tout des unités d'analyse musicale ou des 
unités descriptives, ils vont me servir au niveau de la construction sonore. À partir de la 
description des ISOS, des dix-neuf UST et des groupes biosémiotiques, j'ai construit un cadre 
théorique en vue de l'élaboration des sons et des séquences qui alimenteront les contenus sonores 
interactifs (Tableau 5.1). 
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Groupes Biosémiotiques UST 



-Groupe 1: -Élan 

Il comprend les UST 
délimitées dans le temps, -Chute 
présentant des caractères de 
prévisibilité, de mobilité, -Étiremen 
avec des points d'appui 
et/ou des accélérations. La -Freinage 
dénomination donnée par 
les musiciens évoque un 
trajet dans un espace 
tridimensionnel avec une 
finalité. Ces UST font 
penser à des mouvements 
transitifs, orientés vers un 
but. Elles suscitent 

l'attention volontaire de 
l'auditeur. 



Contracté -Etendu 



Suspension-Interrogation 



-Groupe 2: -Qui avance 

Il comprend les UST non 

délimitées dans le temps -Lourdeur 

présentant des caractères de 

prévisibilité, de mobilité -Trajectoire inexorable 

comme pour le groupe 1 

mais sans accélération ni -Obsessionnel 

rupture. Les dénominations 

données par les musiciens 

se réfèrent à un espace 

bidimensionnel et évoquent 

des mouvements transitifs à 

caractère topométrique 

accompagnés d'une 

attention automatique. 



-Groupe 3 : 

Ce groupe réunit des UST 
non délimitées dans le 
temps présentant certains 
caractères propres au 
groupe 2. Cependant, les 
mouvements évoqués 

semblent être subis 

passivement, sans 

intentionnalité. En effet, ils 
comprennent des 

réitérations, des 



-Par vagues 
-Qui tourne 
-Stationna ire 



Critères typo-morphologiques 



-Son bref ou tenue globalement uniforme 

-Accroissement d'intensité bref et 
exponentiel 

-Décroissance d'intensité ou silence 

-Globalement uniforme 

-Comporte un mouvement d'accélération 

-Matière globalement uniforme, dans un 
déroulement temporel assez lent, 
présentant l'accroissement d'au moins une 
variable morphologique. L'énergie est en 
accroissement. Le mouvement est du type 
surplace par déformation 

-Apparition d'une énergie plus importante 
qui décroît ensuite rapidement 

-Accélération qui va dans le sens d'un 
accroissement (intensité, masse, 

événements de plus en plus rapprochés, 

...) 

-Globalement uniforme, à énergie 
maintenue. Il y a une discontinuité brutale 
entre les deux phases (du même type que 
le "point anguleux" défini pour l'UST 
"Chute"). 

-Processus quelconque 

-Tenue brève 

-Énergie constamment renouvelée et 
possédant une direction. Elle est 
constituée d'une cellule réitérée sans 
interruption; cette cellule comporte un 
accent. 

-Cellule répétée de façon non strictement 
identique et avec une irrégularité 
maîtrisée. Un accent en crescendo est 
placé au début de chaque reprise de la 
cellule; chaque accent renouvelle l'énergie 
cinétique de translation. Le déroulement 
temporel est assez lent. 

-Unité qui fait entendre une trajectoire 
réalisée par une ou plusieurs variables et 
donnant l'impression d'une énergie 
constamment renouvelée. 

-Constituée d'une cellule réitérée dans un 
temps puisé. 



-Répétition d'un motif sonore en delta 
dans lequel l'énergie est croissante puis 
décroissante. La forme en delta peut 
s'appliquer à différents critères 
morphologiques. Déroulement temporel 
assez lent. 



-ISO Culturel: 

Les voix des médecins et des 
infirmières du bloc opératoire, les 
pleurs des autres enfants, les 
différentes intonations de voix 
s'adressant au nouveau né, 
phénomènes sonores onomatopéiques 
répétés d'un parent à un autre, les 
sons d'instruments de musique, la 
sonnerie du téléphone, la sonnette, les 
bruits de pas et de tapement du pied, 
le hochet, la boîte à musique, la 
radio, les rires, la toux, etc.. La voix 
et les sons vocaux utilisés comme 
source sonore en combinaison avec 
des bruitages digitaux. Sons brefs 
environnementaux. Sons de cloches. 
Sons d'orchestre. Sons fantaisistes. 
Son anecdotiques. Au fur et à mesure 
que la complexité augmente, les sons 
acquièrent un caractère de plus en 
plus abstrait. Sons frappants. 



-ISO Culturelle: 

Les voix des médecins et des 
infirmières du bloc opératoire, les 
pleurs des autres enfants, les 
différentes intonations de voix 
s'adressant au nouveau né, 
phénomènes sonores onomatopéiques 
répétés d'un parent à un autre, les 
sons d'instruments de musique, la 
sonnerie du téléphone, la sonnette, le 
bruit de pas et de tapement du pied, le 
hochet, la boîte à musique, la radio, 
les rires, la toux, etc.. La voix et les 
sons vocaux utilisés comme source 
sonore en combinaison avec des 
bruitages digitaux. Sons brefs 
environnementaux. Sons de cloches. 
Sons d'orchestre. Sons fantaisistes. 
Son anecdotiques. Au fur et à mesure 
que la complexité augmente les sons 
acquièrent un caractère de plus en 
plus abstrait. Sons frappants. 

-ISO Universelle: 

Le battement cardiaque, avec sa 
structure de rythmes binaires. Les 
sons produits par l'inspiration et 
l'expiration. Les sons de l'eau. Le 
vent. Le rythme inhérent à la marche. 
Les mouvements ancestraux. Les 
systèmes de messages des animaux, 
en particulier des baleines et des 
dauphins. L'échelle musicale 

pentatonique. Frappes sonores 
rythmiques et monotones. 
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accélérations variables sans 
prévis ibilité. 

De plus, leur schème 
rythmique statique évoque 
des impressions archaïques 
que Ton retrouve aussi bien 
dans les bruits du monde 
intérieur (coeur, 

respiration), que dans les 
mouvements subis par le 
corps (bercement, 

balancement). Ils induisent 
une attention flottante. 



-Groupe 4: 

Ce groupe réunit les UST 
non délimitées dans le 

temps, sans mobilité et sans 
prévis ibilité. Elles 

présentent une organisation 
temporelle floue. Les 
dénominations, que leur 
attribuent les musiciens, ne 
font pas référence à une 
notion d'espace. Aucune 
idée de mouvement ne peut 
être évoquée même si on 
peut faire une analogie avec 
les mouvements expressifs 
décrits par Buytendijk. 



-Cellule réitérée de façon continue, 
constituée d'un motif sonore en delta : qui 
accélère puis ralentit et crescendo- 
decrescendo, et avec un accent au 
maximum du crescendo. Ce motif sonore 
semble irrégulier : le 1er élément 
(accéléré-crescendo) paraît plus court que 
le second. 



-Dans un déroulement temporel assez lent 
et une énergie potentielle globalement 
stable, différentes configurations sont 
possibles: 

Eléments sonores relativement courts, 
épars, généralement divers, sans former de 
structure; Trame peu évolutive; 
superposition de A et de B; Cellule en 
répétition plus ou moins variée; Densité 
importante d'éléments multiples, 

contradictoires et se chevauchant. 

-En flottement. Qui -Unité non délimitée dans le temps, dans 

s'accompagne d'une attention un déroulement temporel assez lent, 
flottante. 

-Evénements sonores ponctuels, qui se 
-En suspension. Qui renvoie à un succèdent sans former de structure sur un 
sentiment d'attente. continuum « lisse », sans pulsation. 

-Sans direction par divergence -Ce continuum peut être sous-entendu, 

d'information. Qui renvoie à une peut être du silence, 
attention saturée par excès 

d'information. -Unité non délimitée dans le temps, 
constituée d'une formule répétée quasi 

-Sans direction par excès sans variation, dans un déroulement 

d'information qui renvoie à un temporel assez lent, et dont la matière 

état de tension. sonore et/ou les éléments évoluent peu. 

-Constituée de moments successifs assez 
brefs proposant des systèmes 

d'organisation différents. Les directions 
divergentes sont successives et non 
superposées. Du fait de ces divergences, 
l'énergie reste globalement potentielle. 



-Unité non délimité dans le temps 
composée d'éléments multiples, assez 
brefs, divers, se chevauchant 

fréquemment. 



-Qui veut démarrer 
-Sur l'erré 



-Amorce réitérée mais non aboutie d'un 
processus. 



-Phase unique qui comporte une 
décroissance d'intensité jusqu'à 

extinction. 



-ISO Gestalt: 

Voix dont particulièrement celle du 
père, bruits de l'environnement 
social, sons musicaux culturels, 
vibrations non identifiables, 

phénomènes acoustiques divers. Voix 
de la mère ainsi que son rythme 
d'inspiration et d'expiration, 

battements cardiaques, craquements 
des parois utérines, sons articulaires 
et musculaires, sons propres au 
fonctionnement global de 

l'organisme, mouvements 

gravitationnels et autres phénomènes 
non identifiables. Le flux sanguin, 
respiration, thermorégulation, 

fonctions vitales, propre battement 
cardiaque, phénomènes sonores liés 
au fonctionnement de son organisme. 
Basses fréquences. La voix et les 
sons vocaux utilisés comme source 
sonore en combinaison avec des 
bruitages digitaux. Brefs sons 
environnementaux. Sons de cloches. 
Sons d'orchestre. Sons frappants. Son 
de textures, de différentes surfaces, 
qui varient en fonction du type de 
mouvement (vitesse, direction, etc.) 
et des bruitages digitaux qu'on leur 
s'applique. Effet d'écho avec la voix 
du participant. Textures sonores 
provenant de différentes surfaces et 
variant en fonction du type de 
mouvement (vitesse, direction, etc.) 
et des bruitages digitaux qu'on leur 
applique. 



Tableau 5.1 : Tableau en vue de l'élaboration des sons et des séquences. 
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Le tableau antérieur présente le cadre théorique à partir duquel s'est articulé le processus de 
création des sons et des séquences sonores, qui alimenteront les contenus sonores interactifs. 
Bien qu'un certain nombre d'associations établies entre les ISOS et les autres d'éléments soient 
légèrement subjectives, il n'existe pas actuellement de cadre fixe sur lequel on puisse construire 
des rapports entre les niveaux inférieurs ou morphologiques du son et les niveaux supérieurs ou 
sémantiques. Mon intention ne se situe, de toute manière, pas à ce niveau mais vise à établir un 
cadre clair qui puisse me servir dans le processus de construction sonore. Mon objectif est de 
naviguer à l'intérieur de ce tableau pour créer des éléments sonores (objets et séquences) en usant 
d'une certaine liberté et en m'appuyant sur mon savoir faire en matière de création sonore. 

Les éléments créés à partir de ce tableau serviront de réservoir sonore aux activités et 
modules interactifs du projet EMSTI. Vous trouverez, dans l'Annexe adjoint à ce document, un 
dossier contenant les sons et séquences ainsi créés. 



5.2.2 Contrôleurs des contenues sonores interactifs 

Différentes formes d'interaction, différents contrôleurs et systèmes de captation du geste en 
fonction des handicaps. Dans l'APCC nous avons principalement proposé: 

- Le Microphone pour la captation des émissions vocales en temps réel. L'utilisation du 
microphone a déjà été utilisée lors de projets antérieurs, comme je l'ai montré dans l'état de l'art. 
Son utilisation offre la possibilité de travailler avec l'enfant sur sa propre image sonore. L'enfant 
se reconnaît en effet dans le résultat provenant des haut-parleurs; grâce à l'emploi de différents 
traitements sonores, on pourra ensuite éloigner l'enfant de cette image pour le diriger vers une 
approche davantage centrée sur l'expression sonore. 

Le microphone nous permet donc de récupérer les émissions vocales en vue de les 
modifier. Parallèlement, le microphone et la voix se convertissent en contrôleur de certains 
paramètres du traitement. Les possibilités de contrôle des émissions vocales de l'enfant sont dans 
la plupart des cas: contraste entre un son tenu et un son bref, différence entre voyelle et 
consonne, variation de l'intensité de l'émission vocale (forte ou douce). 
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Figure 5.2 : Interaction avec le microphone. 

J'ai utilisé Vanalyzer- (Figure 5.3), objet créé par Tristan Jehan (17) et destiné à l'analyse en 
temps réel des émissions vocales pour le logiciel de programmation par objets graphiques 
Max/MSP. Cet objet permet de recouper les informations suivantes: MIDI Pitch, Polyphonie 
pitches (MIDI, Hz), Polyphonie pitches (Freq, Amp), Sinusoïdal components (Freq, Amp), 
Loudnes, Brightness, Noisiness, Bark, Attack, Raw MIDI pitch. J'ai également eu recours à 
Jiddle- (Figure 5.4) conçu par Miller Puckette pour Max/MSP et Pure Data, objet collectant les 
données suivantes: Pitch, Bang attack, Raw pitch, Amplitude, Individual sinusoïdal components 
(18). 



17. Objet analyzer~: http://wcb.nicdia.niit.edu/-tristan/ 

18. Objet fïddle-: http://crca.ucsd.edu/-tapcl/sotuvarc.litml 
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Figure 5.3: analyzer- , objet créé par Tristan Jehan. 
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Figure 5.4: Objetjiddle- conçu par Miller Puckette 



- La Caméra web pour capter le mouvement de l'utilisateur. Le programme mViaCam reçoit 
l'image au moyen d'une webcam et envoie ensuite les données au moteur de Max/MSP. En 
analysant la captation d'image, nous obtenons les différents paramètres nécessaires au contrôle 
sonore. 

Depuis 2004, l'APPC la caméra web a été impliquée, parallèlement à ses activités habituelles, 
dans le développement de plusieurs programmes et projets de I+D créant des outils adaptés aux 
personnes atteintes de paralysie cérébrale en vue de leur rendre accessibles les Technologies de 
l'Information et des Communications (TIC). L'APPC a initié des recherches autour de systèmes 
et d'applications informatiques telles que la Facial Mouse et WebColor, mis à disposition par 
CREA. 
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Ces systèmes utilisent une webcam afin de fournir un accès alternatif à l'ordinateur. Facial 
Mouse permet de contrôler la souris grâce aux mouvements effectués par la tête. WebColor 
utilise des éléments colorés, tels que des étiquettes adhésives, des gants ou encore du papier, 
comme substituts aux différentes fonctions d'un bouton. Ces systèmes permettent de capter la 
mobilité volontaire de l'enfant et de la transformer en informations utilisables. D'autres 
recherches ont été menées à bien: développement d'un outil de communication pour Pocket PC, 
Talker; adaptation d'aides techniques; programme de formation et de consultation destiné aux 
professionnels du centre. Elles ont signifié une avancée considérable au niveau de l'utilisation 
des nouvelles techniques ainsi qu'une aide de taille pour les utilisateurs et les professionnels de 
l'association. Ces avancées technologiques n'ont cependant pas pu profiter à un nombre 
considérable d'utilisateurs, en raison de leurs propres limitations cognitives. Beaucoup d'entre 
eux ne comprenaient effectivement pas l'utilisation des applications que les professeurs et 
thérapeutes leur fournissaient: "la technologie était accessible, mais non utilisable". 

Les effets bénéfiques de la musique, observés lors des séances régulières de musicothérapie se 
tenant à l'APPC, ont été déterminants pour la réalisation de tests combinant l'utilisation de Facial 
Mouse au système DanceMusic (ce dernier génère sur l'écran, à partir du mouvement de la 
souris, des sons MIDI et des couleurs). Un utilisateur du centre, auditeur passif des séances de 
musicothérapie, l'a essayé; nous avons immédiatement pu observer la motivation qu'il 
manifestait, au cours de son interaction avec le système. D'autres tests se sont également avérés 
positifs auprès d'enfants normalement incapables d'utiliser un ordinateur. Ces constatations ont 
joué un rôle primordial pour le centre à l'heure de relever le défi constitué par le lancement du 
projet EMSTI et le développement de l'application mViaCam (Figure 5.5), qui permet de 
transmettre le geste physique de l'utilisateur au moteur de synthèse sonore, en étant relié par port 
virtuel MIDI, sur MaxMSP ou sur Pure Data (Figure 5.6). 

Le module d'extraction du geste est une application qui capture l'image de l'enfant au moyen 
d'une webcam. Trois paramètres sont déduits de ce signal : 



. Direction et quantité de mouvement dans une zone spécifique: le module permet de sélectionner 
la partie du corps dans laquelle la mobilité volontaire sera générée (tête, oeil, main, pied, etc.). 
La très forte sensibilité du capteur le rend particulièrement adéquat aux personnes réalisant des 
mouvements très restreints. 

338 



. Positionnement : Une marque de couleur (un gant ou une étiquette adhésive, par exemple) est 
placée sur le corps du participant (normalement sur une extrémité supérieure). Elle s'avère 
particulièrement exploitable dans le cas d'une mobilité volontaire à caractère grossier, imprécis. 



. Index d'activité globale : outil destiné aux utilisateurs pouvant interagir avec l'intégralité de leur 
corps. 



Multimedia ViaCam - SAIT proiect 



File Options Help 



injxj 




Figure 5.5: mViaCam. 
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Figure 5.6: Patch Max/MSP qui permet de récupérer sur Max/MSP les données qui proviennent 

du logiciel mViaCam. 
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- Des contrôleurs alternatifs ont été également testés: l'expérience accumulée ces dernières 
années m'a permis de constater que les contrôleurs munis de capteurs à champ d'activité étendue 
sont les mieux acceptés par les enfants atteints de paralysie cérébrale. Leurs handicaps moteurs 
rendent difficile la manipulation et le contrôle d'objets physiques. Pour cette raison, nous 
travaillons à l'APPC, depuis un certain nombre d'années, avec des systèmes de captation non 
intrusifs tels que la webcam. Chaque enfant constitue cependant un cas individuel; certains 
enfants, au centre de l'APPC, présentent ainsi un contrôle moteur plus affiné, ce qui rend 
possible l'usage de contrôleurs alternatifs, complémentaires au microphone et à la webcam : 



. La plaque de pression d'Interface-Z (19). La plaque (Figure 5.7) transmet, grâce à une interface 
MIDI, les valeurs de pression exercées sur les deux axes, X et Y. L'objet ctlin de Max/MSP 
permet ensuite de recevoir ces valeurs pour les utiliser comme paramètres de contrôle (Figure 
5.8). 




Figure 5.7: Plaque de pression. 



19. Plaque pression Interface-Z: http://www.inTcrfacc-z.com/ 

340 







CENTE 






i T^ 




CENTRE 


























































































































































































■ 





































Figure 5.8: Max/MSP permet de recevoir ces valeurs de la plaque de pression pour les utiliser 

comme paramètres de contrôle. 



. La télécommande de la Wii (Figure 5.9). On utilise le patch aka.wiiremote (20) de Masayuki 
Akamatsu pour récupérer les données fournies par la télécommande Wii sur Max/MSP (5.10). 
L'ordinateur reçoit, grâce à bluetooh, les données résultant des gestes physiques réalisés avec la 
télécommande. Les valeurs transmises par le patch sont: accélération dans l'axe X, accélération 
dans l'axe Y, accélération dans l'axe Z, orientation de la télécommande, état actionné ou non 
actionné des différents boutons. 




Figure 5.9: La télécommande de la Wii. 



20. Patch «aka.wiiremote» de Masayuki Akamatsu: http://www.i;mias. ac.jp/~aka/max 
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Figure 5.10: Patch aka.wiiremote de Masayuki Akamatsu. 



. Objet communicant. Il se présente sous la forme d'un cube en tissu composé de différentes 
textures (Figure 5.11) et reliefs. Lorsque l'enfant le touche et le manipule, il déclenche différents 
sons aux caractéristiques cristallines et granulaires. À l'intérieur du cube, j'ai placé la 
télécommande de la Wii, ce qui me permet de recueillir les données provenant des différents 
mouvements subis par le cube. J'emploie ainsi cet objet comme contrôleur sonore lorsque 
l'enfant le lance et le fait tourner. L'objet Max/MSP, utilisé pour la collecte de ces données, est 
identique à celui présenté dans l'exemple précèdent reposant sur l'utilisation de la télécommande 
de la Wii. 
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Figure 5.11: Le cube montré sous un angle permettant de distinguer 
deux différents types de reliefs. 



5.2.3 Le moteur sonore interactif 

Le moteur sonore à été largement décrite dans la deuxième partie de cet thèse, en 
conséquence, je veux seulement rappeler que le moteur est l'ensemble des objets programmables 
pour le traitement électroacoustique chargés de générer la réponse sonore grâce à des traitements 
du signal audio. 

Pour penser et créer les contenues sonores et le moteur du paquet de contenus interactifs du 
projet EMSTI je me suis servi de mes travaux sonores et musicales développés dans la deuxième 
partie de cet thèse, ainsi comme de ma vision personnelle des SMI exposé auparavant (Figure 

5.12). 

J'ai essayé en tout moment de garder, dans le contexte de développement du projet ESMTI, 
une altitude expérimentale, créative et innovatrice du design des contenus sonores interactifs. 
Cette attitude, qui provient de ma vision personnelle des usages de nouvelles technologies, 
contraste fortement avec la plus part des environnements thérapeutiques interactifs décrites dans 
l'état de l'art, à l'exception di projet MEDIATE, que à été toujours un projet qui ma inspiré pour 
créer les contenues sonores interactifs du projet EMSTI. 
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Figure 5.12 : Sub-patch Max/MSP contenant les différents traitements sonores que j'utilise dans 
mes projets artistiques et qui ont aussi servi à créer les différends moteurs du projet EMSTI. 
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5.3 La création d'activités interactives 

Activités concrètes à réaliser par les utilisateurs. Activités reposant sur la spatialisation sonore, 
le jeu, la prise de conscience de soi et le corps. Les contrôleurs, les modules, les activités et les 
contenus sonores interactifs devront être adaptés aux utilisateurs en fonction de leurs capacités 
motrices et cognitives (Tableau 5.2). 

Modèles ou sujets : 

1) Spatialisation sonore ou perception de l'écoute égocentrique 

2) Le jeux 

3) Autour de la perception et de la conscience de soi 

4) L'objet communicant 

5) Le corps comme instrument: génération sonore et génération visuelle 
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Sujet 


Description 


Activités 


Contrôleur 


Retour 


Diffusion 


1) 


-Conscience spatio- 


-Réaliser des trajectoires 


-Plaque sensible 


-Son 


-Haut-parleurs 


temporelle de 


sonores (Hula hoop) 








Spatialisation 


soi dans un rapport 
égocentrique à 






-Image 


-Écran vidéo 


sonore ou 


l'écoute 










perception 












de l'écoute 












cgoccntrique 












2) 


-Activités à des fins 


-Conducteur 


-Caméra 


-Son 


-Haut-parleurs 


Le jeu 


ludiques 














-Maracas 


-Télécommande de la 


-Image 


-Écran vidéo 




-Activités centrées sur 




Wii 








un travail de la 












motricité 












-Activités présentant 












un objectif à 












accomplir 










3) 


-Activités centrées sur 


-«Le miroir qui déforme 


-Voix 


-Son 


-Haut-parleurs 


Autour de la perception 


la prise de conscience 


la voix», «Ma voix 








et de la conscience de 


de soi. Distorsion de 


déformée»: 




-Image 


-Écran vidéo 


soi 


l'image de l'enfant. 
Les différents 
traitements de l'image 
conservent des 
traces de l'image 
d'origine, permettant 
ainsi à l'enfant de se 
reconnaître 


.Patch SATI2008 
.Sound To Sound 
.Voice 








4) 


-Activité centrée sur 


-Le cube 


-Objet communicant 


-Son 


-Haut-parleurs 


L'objet communicant 


la manipulation d'un 




ou interactif 








objet physique 






-Image 


-Écran vidéo 


5) 


-Le corps comme 


-Activités de génération 


-Voix 


-Son 


-Haut-parleurs 


Le corps comme 


générateur d'image et 


sonore: 








instrument 


de son 


.Instrument virtuel. Patch 
SATI2008 

.Instrument virtuel. Patch 
Image-To-Sound 

.Déplacement à l'intérieur 
d'un sampler. Patch Loop 
DJ 


-Caméra 


-Image 


-Écran vidéo 



Tableau 5.2 : Activités interactives. 
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5.3.1 Les modules Interactifs 

Les modules interactifs sont des SMI développés en fonction des activités proposées et 
contenant des traitements sonores et visuels. 

En tant qu'artiste sonore, mon travail ne concernait que la partie sonore des modules 
interactifs. Je tiens cependant à souligner que le même type de travail et de recherche a été 
développé par un autre artiste en ce qui concerne la partie visuelle des modules interactifs. 

Les modules interactifs sont des applications contenant le hardware et le software 
nécessaires à la réalisation des différentes activités proposées. Ils contiennent plus précisément 
les patchs programmés en Max/MSP et Pure Data. Ces patchs traitent l'information transmise par 
le système de captation du geste. Equipés d'une webcam, d'un microphone, d'une plaque de 
pression, de la télécommande de la Wii et de l'objet communicant, ils génèrent également une 
réponse sonore. Celle-ci repose sur un modèle de représentation musicale mais également sur un 
modèle musical plus expérimental, à la fois créatif et génératif. Le résultat final comprend, par 
conséquent, un modèle fondé sur ce qu'on entend traditionnellement par « musique » (possédant, 
par exemple, un système harmonique tonal ou modal), mais aussi un autre modèle reposant sur le 
traitement du son et de la matière sonore, semblable à celui que j'utilise pour ma propre 
recherche compositionnelle. 

Dans une première étape de développement du projet, j'ai programmé en Pure Data des 
applications basiques de traitement de la voix, inspirées par le travail d'Ellis (Ellis, 2006). Le 
résultat a été très positif: les utilisateurs ont répondu à des traitements sonores, tels que la 
réverbération, de manière surprenante. Un autre monde s'est réellement ouvert à eux au cours de 
cette expérimentation. Le simple fait de diffuser leur voix amplifiée, au moyen de deux haut- 
parleurs, s'est avéré être une expérience particulièrement forte. On leur montrait, en quelque 
sorte, un miroir sonore, une photographie de leur voix. À partir de cette première avancée, on a 
programmé divers patchs de traitement sonore de la voix. L'ensemble de ce travail, comprenant 
plusieurs applications, a abouti en 2008 à la création du patch SATI2008. 
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Le patch SATI2008 est un patch de Max/MSP. D'une certaine complexité, son utilisation 
n'était pas aisée pour des néophytes. Il remplissait deux fonctions. D'une part, il pouvait être 
utilisé comme patch lors de la réalisation une séance de travail s'articulant autour du choix d'un 
traitement sonore et/ou d'un instrument virtuel; d'autre part, il pouvait servir comme espace 
sensible reposant sur l'idée d'installation sonore. Une partition virtuelle avait ainsi été 
programmée, pilotant une installation sonore pendant une durée de 10 minutes (nous avons 
généralement observé que les enfants, atteints de paralysie cérébrale, ne peuvent conserver la 
vivacité de leur attention et de leur concentration au-delà d'un laps de 10 à 15 minutes). La 
partition virtuelle possédait aussi une fonction qui actionnait et désactivait différents traitements 
et activités interactives, indépendamment de la volonté de l'utilisateur. Bien que cette partition 
reposait sur un système fermé, ne permettant pas à l'utilisateur de modifier la séquence 
temporelle proposée, celui-ci pouvait contrôler cependant de manière interactive certains 
paramètres sonores à l'intérieur de chaque application autonome. La qualité des résultats obtenus 
m'a permis d'entamer un travail s'articulant autour des différentes activités du projet EMSTI. 

En raison du caractère complexe de l'utilisation du patch SATI2008, constaté par les 
éducateurs du centre, j'ai proposé la création de modules interactifs, autonomes et indépendants, 
en fonction de chaque activité concrète. 



Je présenterai, par la suite, les principaux modules interactifs, développés en fonction des 
activités proposées au centre de Tarragone, où je mène à bien ce projet. Les différents modules et 
activités seront détaillés selon les critères utilisés au préalable pour exposer mes travaux 
compositionels. Je ferai également une évaluation artistique de chacun de ces modules 
interactifs, ce qui me permettra de déduire des éléments et des conclusions pertinentes dans la 
perspective d'une réflexion purement artistique. Dans le cas du projet EMSTI, je préciserai le 
type de sons et de séquences les plus adaptés à chaque activité, en me fondant sur le tableau des 
contenus sonores interactifs proposé aux pages précédentes. Cette proposition sonore est avancée 
en relation avec le type de geste demandé à l'enfant. Pour aider à une compréhension de chacune 
des activités, je proposerai des sons et des séquences sonores adaptés au type de mouvement et 
d'interaction qui les caractérisent. Je préciserai ainsi, dans les paragraphes ayant pour objet 
l'explication du moteur et du son résultant du SMI (module interactif propre à chaque activité), le 
groupe biosémiotique auquel appartiennent les sons et les séquences créés pour chaque activité. 
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5.3.2 Spatialisation sonore ou perception de l'écoute égocentrique 



Sujet 



Description 



1) 


-Conscience 


1 -Réaliser des 


-Plaque de 


-Son 


-Haut-parleurs 




spatio - 


trajectoires sonores 


pression 
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temporelle de 
soi dans un 


(Hula hoop) 




-Image 


-Écran vidéo 


sonore ou 


rapport 










perception 


égocentrique à 
l'écoute 










de l'écoute 












égocentrique 













Tableau 5.3 : Spatialisation sonore ou perception de l'écoute égocentrique. 
1 - Hula hoop : 

- Description : activité inspirée du jeu du Hula hoop. L'activité consiste en la réalisation de 
mouvements circulaires avec son propre corps sur la plaque de pression, en vue de contrôler et 
déjouer avec les sons et avec leurs mouvements dans l'espace. 

- Les objectifs de l'activité sont : 

Création d'une activité permettant aux physiothérapeutes de travailler sur la position du corps des 
enfants, grâce à l'utilisation du feed-back visuel et sonore provenant à la fois de la position du 
corps et de la répartition du poids de celui-ci sur la plaque de pression. 

- L'objectif à accomplir par l'enfant : 

. Obtenir davantage de conscience spatio-temporelle de lui-même dans un rapport égocentrique à 
l'écoute. 

. Travailler le contrôle de son propre mouvement corporel. 

- Tâches à réaliser par l'enfant en vue de l'accomplissement de ces objectifs : 

. Réaliser des mouvements circulaires avec son propre corps sur la plaque de pression pour 
inscrire ainsi des trajectoires sonores circulaires dans un espace quadraphonique. 
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Cette activité peut être réalisée en position assise, allongée ou debout en fonction des possibilités 
motrices de l'enfant. 

. Transformer la séquence sonore ou le son sélectionné en fonction du geste corporel réalisé sur 
la plaque de pression. 

- Le SMI: Ce SMI a été conçu d'après le modèle d'interaction entre action et perception ainsi que 
d'après les modèles polarisés décrits antérieurement. Parmi ces derniers, il présente davantage de 
similitudes la performance-driven Systems, la réponse répétitive et le modèle instrument qu'avec 
les autres catégories. Ce SMI est formé par l'ordinateur, le patch Max/MSP (Figure 5.13), la 
plaque de pression et le circuit permettant à l'ordinateur de recevoir et d'envoyer les informations 
provenant de la plaque de pression. Il est chargé de : 



. Recevoir les informations qui arrivent du contrôleur (ici, la plaque sensible). 

. Générer une réponse sonore en fonction du mouvement circulaire réalisé par l'enfant. 

Ce SMI possède deux retours visuels du geste. Le patch Max/MSP permet, d'une part, d'observer 
de manière indépendante l'évolution du mouvement corporel dans les axes X et Y (Figure 5.13). 
Un deuxième retour se présente, d'autre part, sous la forme d'un carré, montrant la position de 
l'utilisateur en temps réel; celle-ci est enregistrée et reproduite afin que le physiothérapeute 
puisse analyser les mouvements à une vitesse de reproduction choisie (Figure 5.14). 
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Figure 5.13 : Patch Max/MSP montrant l'évolution du mouvement corporel dans les axes X et Y 

de manière indépendante. 
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Figure 5.14 : Carré montrant la position de l'utilisateur en temps réel. 

- Le système de captation et le geste physique du SMI : j'utilise la plaque de pression d'Interface- 
z comme contrôleur. Le contrôleur envoie au patch Max/MSP les valeurs de pression de 
l'utilisateur dans un espace cartésien (Figure 5.15). On récupère ensuite les valeurs 
correspondant à la pression exercée respectivement sur les axes X et Y, en vue de contrôler 
l'espace quadraphonique et le traitement sonore. 




Figure 5.15 : Plaque sensible envoyant les valeurs de pression de l'utilisateur dans un espace 

cartésien. 
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- Le moteur et le son résultant du SMI: L'enfant peut lire, grâce au patch Max/MSP, un fichier 
présent sur le disque dur de l'ordinateur, en vue de sélectionner la séquence sonore avec laquelle 
il souhaite jouer. Le moteur permet de spatialiser la source sonore dans l'espace, mais aussi de la 
transformer en fonction du mouvement corporel effectué sur la plaque. Ce moteur offre 
également la possibilité d'effectuer une transformation sonore des séquences choisies grâce au 
mode de traitement Flanger. 

Les sons et les séquences, que j'ai créés pour cette activité, appartiennent au troisième groupe 
biosémiotique. Ce groupe comprend des sons et des séquences sonores renvoyant l'enfant à des 
mouvements cycliques, circulaires, possédant un rythme. 

- La mise en correspondance du SMI: la mise en correspondance est de type unitaire. Les 
positions X et Y servent à contrôler la quadriphonie ainsi que les valeurs de rate et de depth du 
traitement flanger du moteur. Les delays du flanger sont choisis grâce à une fonction random. 

- Évaluation artistique de l'activité: cette activité se révèle extrêmement intéressante car son 
potentiel de développement en situation de concert/performance est assez large: 

. Relation très étroite entre le geste corporel et le résultat sonore perçu. 

. Dramaturgie puissante donnée par le propre dispositif. Le danseur ou « performer » s'inscrit 
dans une périmètre spatial précis. C'est dans cet espace restreint qu'il doit imaginer tout type de 
gestes corporels, afin d'activer des sons isolés ou des extraits musicaux stockés dans le système. 
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5.3.3 Le jeux 

Sujet 



Description 



Activités 



Retour 



2) 
Le jeu 



-Activités à des 
fins ludiques 

-Activités 
centrées sur un 
travail de la 
motricité 

-Activités 
présentant un 
objectif à 
accomplir 



1 -Conducteur 

2-Maracas 



-Télécommande 
de la Wii 



-Son 
-Image 



-Haut-parleurs 
-Écran vidéo 



Tableau 5.4 : Le jeux. 



1 - Conducteur: 



- Description de l'activité : Activité créée d'après le modèle du chef d'orchestre. Un chef 
d'orchestre exerce plusieurs fonctions à la fois: il va, par exemple, réguler et contrôler le tempo 
et l'intensité sonore globale d'une œuvre au cours d'une interprétation. Dans cette activité, 
l'utilisateur devra, de même, contrôler la vitesse (tempo) et le volume de reproduction d'une 
œuvre ou de la séquence sonore choisie. 

- Les objectifs de l'activité sont : 

. Créer une activité de type ludique 
. Travailler la motricité 



- L'objectif à accomplir par l'enfant : 

. Contrôler ses mouvements avec le plus de précision possible 

- Tâches à réaliser par l'enfant en vue de l'accomplissement de cet objectif : 

. Mouvoir, par exemple, les mains à une certaine vitesse pour accélérer, diminuer ou maintenir le 
tempo de la séquence sonore choisie. 
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. Mouvoir les mains dans l'axe Y pour modifier l'enveloppe dynamique de la séquence sonore. 

- Le SMI : Ce SMI a été conçu d'après les modèles polarisés définis antérieurement. Parmi ces 
derniers, il présente davantage de similitude avec la performance-driven Systems, la réponse 
répétitive et le modèle instrument qu'avec les autres catégories. Ce SMI est formé par 
l'ordinateur, le patch Max/MSP (Figure 5.16) et la caméra web. Il est chargé de : 

. Recevoir les informations provenant du contrôleur (ici, la caméra web). 

. Générer une réponse sonore en fonction de la vitesse de mouvement et de la position. 

. Le système de captation et le geste physique du SMI: La webcam recueille les données relatives 
à la vitesse de mouvement et à la position d'une partie du corps de l'utilisateur dans l'axe X ou 
l'axe Y. 



- Le moteur et le son résultant du SMI: le moteur est constitué d'un buffer qui permet à 
l'utilisateur de charger une séquence sonore. 

Les sons et les séquences, que j'ai créés pour cette activité, reposent sur le troisième groupe 
biosémiotique. Ce groupe inclut, en effet, des sons et des séquences sonores qui évoquent pour 
l'enfant des mouvements rythmiques dotés d'une pulsation régulière. Cette caractéristique 
musicale donne à l'enfant un point de repère rythmique, lui permettant de savoir si son geste 
produit des sons dont le tempo est en accélération ou en ralentissement. 

. La mise en correspondance du SMI: la mise en correspondance est de type unitaire. L'utilisateur 
va contrôler la vitesse de reproduction d'une séquence sonore grâce à la vitesse de mouvement 
dans l'axe X ou Y. La position dans l'axe Y procure, quant à elle, un contrôle du volume sonore 
du fichier audio. 
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- Évaluation artistique de l'activité: L'intérêt de cette activité réside dans un contrôle du son et de 
la musique, exercé exclusivement au moyen des mains et ne requérant aucun contact physique 
avec les objets. Cette activité reste cependant assez basique, en raison du public auquel elle 
s'adresse. Un contrôle indépendant de chaque main de la part du participant permettrait de 
disposer d'un système interactif plus expressif ; ce qui présenterait, par conséquent, plus d'intérêt 
au niveau artistique. 



Conductor 





Figure 5.16 : Patch Max/Msp permettant de visualiser l'ensemble des données. 



2 - Maracas: 

- Description de l'activité : Cette activité s'inspire du geste effectué par un joueur de maracas, qui 
secoue de manière rythmique son instrument. Par cette action, on obtiendra ici un son granulaire 
possédant différentes hauteurs. Le geste de cette activité s'effectue avec la télécommande de la 
Wii, qui va réagir au contraste de deux types mouvements polarisés. Cette activité présente ainsi 
des modes de fonctionnement bien distinct: 

. Mode 1 : Action par laquelle on secoue les maracas de manière rapide et agitée ou , au 
contraire, de manière plus lente et plus posée. 
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. Mode 2 : Action par laquelle on déplace le bras et la télécommande de la Wii dans l'axe Y. 

- Les objectifs de l'activité sont : 

. Créer une activité de type ludique. 
. Travailler la motricité. 

Transformer les sons de manière à obtenir une sonorité se rapprochant des textures sonores 
propres aux maracas. 

- L'objectif à accomplir par l'enfant : 

. Travailler autour du geste et de l'acquisition de la force nécessaire à un maintien de la 
télécommande de la Wii le plus verticalement possible. L'image d'une maraca va servir à 
montrer à l'enfant le geste requis. 

. Travailler sur le contrôle gestuel grâce auquel l'enfant secouera la télécommande de la Wii à des 
vitesses différentes. 

.Travailler sur le contrôle permettant à l'enfant de mouvoir son bras de bas en haut et 
inversement. 

.Travailler sur le contrôle des doigts afin d'actionner certains boutons. 

- Tâches à réaliser par l'enfant en vue de l'accomplissement de ces objectifs : 

. Dans le mode de fonctionnement 1, l'enfant doit secouer à différentes vitesses la télécommande 
de la Wii et écouter le résultat sonore qui est associé à chacune des deux vitesses possibles 
(rapide, lent). 

.Dans le mode de fonctionnement 2, l'enfant doit mouvoir son bras de bas en haut et inversement 
tout en écoutant le résultat sonore associé à chacun de ces différents déplacements. 

. L'enfant doit aussi exercer un contrôle plus précis sur les doigts qui vont servir à actionner les 
deux boutons de la télécommande utilisée pour cette activité. 
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. Lorsque l'enfant réussira à effectuer le geste nécessaire et comprendra la relation de causalité, il 
pourra alors s'amuser à tester ses limites gestuelles et cognitives grâce aux différents niveaux de 
complexité proposés par l'activité. 

- Le SMI : ce SMI a été conçu d'après le modèle d'interaction entre action et perception ainsi 
que d'après les modèles polarisés décrits antérieurement. Parmi ces derniers, il présente 
davantage de similitude avec la performance-driven Systems, la réponse changeante-générative et 
le modèle instrument qu'avec les autres catégories. Ce SMI est formé par l'ordinateur, la 
télécommande de la Wii et le patch Max/MSP. Il est chargé de : 

. Recevoir les informations qui arrivent du contrôleur (ici, la télécommande de la Wii). 

. Générer une réponse sonore en fonction de la vitesse du geste, dans le mode de fonctionnement 
1, et en fonction des positions respectives du bras et de la télécommande de la Wii, dans le mode 
de fonctionnement 2. 



- Le système de captation et le geste physique du SMI: La télécommande de la Wii constitue le 
système de captation gestuelle. Elle me permet de collecter différentes valeurs telles que: 

. La vitesse de mouvement dans l'axe Y. La vitesse de mouvement est convertie à valeur de 
position (Figure 5.17). 

. L'actionnement du bouton A ainsi que celui du bouton situé à l'arrière de la télécommande. 



357 



p pragramacio 
Canadar Wii Cargar 



Maracas 



o 



làJ^kJ 



Botû Davanl Boto Radarj 

D D 



- Sa çenç.E loap. A partir t 



2 - Sa En madE de lonp. Mou r e rapid □ len 

seleccinna das modes de- dentelai del gra. 
grandaiia del gra. qjeda Fuia. 

2 - Sa an mode de Imp. Maure rapid n len 
seleccions dos modes de denlstal del gra. 
La grandaria del gra oueds fixa. 



2 - 3a En mude de loap. Moire rapid a leni 
sélecciwïa dos modes d& désistai del gra 

_.: tiâ : |p:ai il 'j.-l i; J LjeJa 'isï. 



2 - Sa an rnade de loop. Maure rapid o 

seleeeknïa dos modes Oe oenlstai del gra activa el volum Wi 

La grancana del pra queda fixa. 



O o 



,, 



... 



Valor 




maxima 


acliv Lit de n 


uvin 


sul da la 


nïln'rïiaactivitatde 




:. Gallbrsr en 


fur tic mcivlmeril 


tàân 


m. Que pugui 


ciJL '1*1=1 


a' mas récit 




sibfe al mande 




r°si 



-Creuar les dus escales a partir de: "2 - Sd en mode de (cep. 
Moure rapid o lent seleccwna dos modes de denisîst flei gra. I 
,li ïi'Cj'id tel cia ejeda Tua". 
-DQS QE5TOS: 1 SAC5EJAR -2 MQUREAMUiNfTAVALL. 



Escala moirirneni de ma a 
aar a mes comptex 


EacaJa grarular de mes dar a mes complex: 
* Tbhb Gran H! - Tsiia petita del gra 









O 




Max.MovirnBïit- Min. Ma 


ïlmerl + 


Ls'it'i: 










Max. MovimBîit- Min. Ma 


— + 


Lsnghc 








Max. Movîmenr + Min. Mq 


«imenl- 


L»*, 





o 




Max. MuvimEfil:+ .Min. Ma 


*imer,l- 


L^bI. 



Figure 5.17: Interface graphique du patch Max/MSP permettant à l'éducateur de visualiser 
l'activité réalisée sur la télécommande de la Wii. 



- Le moteur et le son résultant du SMI : j'ai déjà expliqué auparavant que cette activité a été 
pensée à partir du modèle gestuel et sonore des maracas. Le moteur de synthèse de ce SMI est 
donc la synthèse granulaire, étant donné que le son obtenu présente de nombreuses similitudes 
avec le son produit par cet instrument de percussion (Figure 5.18). D'autres sons, extrêmement 
différents et variés, peuvent s'appliquer parfaitement à cette activité tout en laissant une large 
part à l'expérimentation sonore et à l'aspect ludique (le résultat sonore fluctuant largement en 
fonction du son choisi). Même si l'ensemble des sons, appartenant aux quatres groupes 
biosémiotiques, peuvent être théoriquement inclus dans cette activité, les sons et les séquences 
sonores du quatrième groupe semblent les plus adaptés. 
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Figure 5.18: Moteur du SMI comprenant les fichiers audio pouvant être chargés ainsi que les 
objets Max/MSP de l'algorithme chargés d'effectuer la synthèse granulaire. 



- La mise en correspondance du SMI : La mise en correspondance entre le geste et le résultat 
sonore perçu est de type unitaire (Figure 5.19). 

. Les valeurs de vitesse dans l'axe Y sont associées à deux fonctions random: Une fonction qui 
détermine la densité et la longueur du grain quand le mouvement du geste est rapide, et une autre 
qui détermine les mêmes paramètres lorsque le mouvement est cette fois-ci lent. 

. Le bouton A est associé au volume sonore de sortie. L'émission du son s'obtient par un maintien 
du bouton en position appuyée; l'arrêt du son en relâchant ce même bouton. 

. Le bouton placé à l'arrière de la télécommande actionne le changement du son avec une 
fonction random. 
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Les autres valeurs nécessaires au fonctionnement du moteur sont déterminées par des valeurs 
fixes calculées avec la fonction random. Elles n'ont pas de répercussions directes sur la 
perception de l'utilisateur et ne dépendent pas de l'analyse du contrôle gestuel. 
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Figure 5.19 : Sub-patch montrant les relations existants entre les valeurs provenant du geste et 
celles qui doivent être envoyées au moteur. 
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- Partition du SMI : la partition est un sub patch qui est en relation avec les autres sub patches 
intégrant la captation du geste, la mise en correspondance, le moteur, la partition et la sortie du 
son (Figure 5.20). La partition du SMI se charge d'établir les relations entre la mise en 
correspondance et le moteur. La partition est la proposition concrète des configurations du 
système qui sont présentées sur une échelle de complexité. Pour les deux modes de 
fonctionnement, j'ai proposé une série de huit étapes avec une échelle de complexité évolutive. 
L'éducateur devra sélectionner les différentes étapes au cours de l'interaction et les proposer à 
l'enfant au fur et à mesure du développement de l'activité. Ces huit degrés offrent différents types 
de relations entre geste et résultat sonore perçu. Cette complexité est fondée sur la combinaison 
des éléments qui configurent la mise en correspondance. Dans le degré de complexité inférieur, 
par exemple, l'enfant devra bouger la télécommande de la Wii, avec des mouvements rapides, 
afin d'obtenir un seul son (Figure 5.21). 



Dans le degré de complexité supérieur, l'enfant devra bouger plus ou moins rapidement la 
télécommande de la Wii en vue de contrôler la synthèse granulaire, tout en appuyant sur les deux 
boutons afin de réguler le volume et le changement de son. 
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Figure 5.20 : Sub-patches qui contient la captation du geste et sont en relation entre eux. 
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Figure 5.21 : Interface graphique du patch permettant à l'éducateur de sélectionner les degrés de 
complexité proposés lorsque l'enfant interagit avec l'activité. 

- Évaluation artistique de l'activité : cette activité est extrêmement riche mais son développement 
est certainement trop complexe, par rapport aux possibilités cognitives et physiques des 
personnes auxquelles elle s'adresse. Les possibilités de contrôle offertes par le système, ainsi que 
la diversités des traitements sonores dont il dispose, rendent cette activité fort intéressante et 
variée. Dans une situation de concert, il serait souhaitable d'ajouter une deuxième télécommande 
(Marca) de contrôle, afin de faire dialoguer ce système avec l'activité Hula-Hoop (plaque de 
pression). 
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5.3.4 Autour de la perception et de la conscience de soi 

Sujet Description Activités Contre 



Retour 



3) -Activités -«Le miroir qui -Voix -Son -Haut-parleurs 

Au tour de la centrées sur la déforme la voix», 

perception et de la prise de «Ma voix déformée»: -Image -Écran vidéo 

conscience de soi conscience de 

soi. Distorsion de 1 -Patch SATI2008 

l'image de 

l'enfant. Les 2-Sound To Sound 

différents 

traitements de 3-Voice 

l'image 

conservent des 

traces de l'image 

d'origine, 

permettant ainsi à 

l'enfant de se 

reconnaître 

Tableau 5.5 : Autour de la perception et de la conscience de soi. 

« Le miroir qui déforme la voix », « Ma voix déformée »: cette activité a été développée sur 
trois modules interactifs ou SMI. Ces modules remplissent des fonctions très semblables: ils 
permettent d'avoir une image sonore de soi et de la transformer à l'intérieur d'un espace sensible 
déterminé. L'application va traiter le son de la voix en temps réel grâce à la captation des 
émissions vocales au moyen d'un microphone. La différence entres ces trois modules réside dans 
une souplesse plus ou moins grande au niveau de leur utilisation. 



1 - Patch SATI2008: 

- Description de l'activité : Comme je l'ai déjà mentionné précédemment, le patch SATI2008 est 
un patch complexe dont l'utilisation est difficile. Il remplit essentiellement deux fonctions: il peut 
servir à la réalisation d'une séance de travail à partir du choix d'un traitement sonore et/ou d'un 
instrument virtuel; il peut, d'autre part, être utilisé comme espace sensible, reposant sur l'idée 
d'installation sonore, grâce à une partition virtuelle qui actionne et désactive, indépendamment de 
la volonté de l'utilisateur, différents traitements et activités interactives. Ce module peut 
cependant trouver une autre application dans la réalisation de deux types d'activités bien 
différenciées: une activité autour de la perception et de la conscience de soi, détaillée dans les 
paragraphes suivants; et une activité utilisant le corps comme instrument, expliquée dans les 
pages suivantes. 
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- L'objectif de l'activité est: 

. Pourvoir l'enfant d'une image sonore de lui-même. 

- L'objectif à accomplir par l'enfant : 
. Prendre conscience de lui-même. 

- Tâches à réaliser par l'enfant en vue de l'accomplissement de cet objectif : 

. Réaliser des émissions vocales qui lui permettront de se reconnaître et de jouer avec sa propre 
voix. Les enfants, possédant déjà un certaine maîtrise de leur propre voix, pourront l'utiliser 
comme contrôleur de certains traitements sonores et jouer ainsi sur la transformation de leur 
perception. 

. Écouter les résultat sonores générés par le système. 

- Le SMI : ce SMI a été conçu d'après les modèles polarisés décrits antérieurement. Parmi ces 
derniers, il présente davantage de similitudes avec la performance-driven Systems, la réponse 
changeante-générative et le modèle interprète qu'avec les autres catégories. Ce SMI est formé par 
l'ordinateur, le patch Max/MSP (Figure 5.22) et le microphone. Il est chargé de : 

. Recevoir les informations provenant du contrôleur (ici, le microphone). 
. Générer une réponse sonore. 

PATCH SATI 2008 



Configura» 
Audio 





Volum àudio gênerai Reproductor àudio 




Tracta mentsàudio 



Sinlesis 



Instruments 
MU 



Mapping - MIDI - 

AUDIO 



Partilura 
Interacti 



Enregistra sessiô 
àudio 

tomd&lta fiEÙSTÛP 



Figure 5.22: Interface graphique du patch Max/MSP qui permet de sélectionner toutes les 
possibilités de contrôle et de synthèse du SMI. 
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- Le système de captation et le geste physique du SMI : le microphone permet d'extraire u ne série 
de paramètres à partir de l'analyse du son d'entrée (la forme d'onde, le spectrogramme et le 
sonogramme, l'amplitude du son, la fréquence et sa note MIDI, la brillance du son) ainsi que de 
détecter et de stocker les attaques réalisées par la voix. 

- Le moteur et le son résultant du SMI : le moteur du patch SATI2008 est assez complexe en 
raison de la diversité des sources et des traitements sonores disponibles. Ces traitements peuvent 
être ajustés en temps réel, en utilisant les presets ou en permettant à l'utilisateur de les manipuler 
en temps réel. 

. Charger plusieurs sons et les manipuler en temps réel (Figure 5.23). 
. Synthèse FM (Figure 5.24). 

. Plusieurs traitements (Figure 5.25): 

. Réverbération servant à désinhiber l'utilisateur et à favoriser les émissions. Elle permet 

d'expérimenter l'immersion dans des espaces différents. 

. Chorus - Flanger offrant la possibilité de créer de nouveaux sons à partir des émissions. 

Surprise et sensation inespérée. 

. Changement de fréquence: Effet comique et transformation de la perception de sa propre voix. 

. Filtre: Effet subtil de perception de l'espace sonore. 

. Écho: Récupère les sons résultant des traitements antérieurs et permet la création d'un espace 

d'écoute se caractérisant par une émission et l'attente consécutive d'une réponse par l'utilisateur. 

Les sons et les séquences, que j'ai créé pour cette activité, proviennent des quatre groupes 
biosémiotiques. Dans cette activité, la tâche principale assignée à l'enfant est l'interaction avec 
les différents traitements vocaux proposés. La possibilité de charger des sons et des séquences 
sonores sert a stimuler les émissions vocales; l'éducateur, disposant d'un éventail assez large, 
pourra ainsi choisir la sonorité la plus adaptée à chaque enfant. Ce choix dépendra du type de 
geste et de communication qu'il désirera établir et travailler avec l'enfant. 
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Figure 5.23 : Sub-patch qui permet de charger des séquences sonores qui seront manipulées en 
temps réel grâce au mouvement corporel. 
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Figure 5.24 : Sub-patch qui permet d'activer et de manipuler en temps réel la synthèse FM au 

moyen du mouvement corporel. 
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Figure 5.25 : Sub-patch qui permet de charger les séquences et d'activer les traitements sonores 

de la voix. 

- La mise en correspondance du SMI : la mise en correspondance de ce SMI est très variée et 
permet de choisir entre différents types unitaires ou divergents. Plusieurs combinaisons sont 
possibles entre des niveaux de relation macro et micro structurels (Figure 5.26). Le choix entre 
les différentes mises en correspondance proposées s'effectue par la sélection de presets, testés au 
cours des séances de travail réalisées avec les enfants du centre de Tarragone. 



Comme je l'ai déjà expliqué dans le paragraphe relatif à la description de cette activité, ce SMI 
peut aussi fonctionner comme une installation sonore. Plusieurs traitements et types de contrôle 
de la synthèse sonore peuvent être configurés, selon les besoins et les possibilités de chaque 
enfant, au cours d'une même séance d'improvisation utilisant ce mode de fonctionnement qui 
propose une durée d'interaction d'environ dix minutes (Figure 5.27, Figure 5.28). 
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Figure 5.26: Sub patch permettant de sélectionner les valeurs de contrôle qui seront associées aux 

valeurs de synthèse. 
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Figure 5.27: Sub-patch qui permet de configurer les valeurs de contrôle, qui seront associées aux 

valeurs de synthèse sonore, au cours d'une interaction selon le mode de fonctionnement 

«installation sonore» pendant une durée déterminée d'environ dix minutes. 
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Figure 5.28 : Continuation an patch présenté à la Figure 5.27 

- Évaluation artistique de l'activité : cette activité se présente sous la forme d'une installation 
sonore. Celle-ci permet à l'utilisateur de disposer d'un système interactif, pourvu de différentes 
partitions interactives stockées dans la mémoire. Les facteurs de surprise et de découverte de 
l'espace sensible joueront ainsi un rôle important dans la motivation de l'utilisateur à créer son 
propre parcours sonore. Le système pourrait cependant disposer d'une palette de réponses plus 
large, ce qui l'apparenterait à un duo musical avec partition ouverte. 
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2 - Sound-To-Sound: 



- Description de l'activité : cette activité consiste en la réalisation de différentes émissions 
vocales qui permettent à l'enfant de reconnaître sa voix et de jouer avec la perception de celle-ci 
grâce aux possibilités de traitement proposées par le module interactif. Le SMI comporte aussi 
trois activités encourageant la participation et l'interaction chez l'utilisateur: 

. Une première activité repose sur l'idée d'Action/Réaction. Le système envoie un fichier audio, 
en fonction de l'intensité sonore des émissions vocales percussives émises par l'utilisateur. Il en 
résulte un renforcement de la sensation de causalité, ainsi que de la conscience de partager la 
construction d'une temporalité en actionnant des événements sonores. La plupart des enfants 
atteints de paralysie cérébrale manifestent de nombreuses difficultés au niveau du contrôle de 
leurs émissions vocales. Le contrôle de la synthèse, par captation de la fréquence de l'émission 
vocale, constitue notamment pour l'enfant une tâche relativement difficile, dont le résultat sera 
par conséquent très variable d'un enfant à un autre (Figure 5.29). Ce facteur conditionne la 
création d'activités reposant sur le contrôle vocal. Les seules émissions vocales susceptibles 
d'être utilisées comme contrôleur sonore sont: l'impulsion sonore, le son de durée longue ou de 
durée extrêmement courte, le son d'intensité forte ou faible et la différence entre le son de 
consone et celui de voyelle. 
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Figure 5.29 : Sub patch permettant de charger les sons et de configurer la sensibilité et le temps 
de réponse du système en fonction des attaques réalisées par la voix. 
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. Une deuxième activité permet à l'utilisateur d'enregistrer la première émission vocale et de la 
stocker. Cette émission vocale pourra donc ensuite être activée, à tout moment, par l'éducateur 
chargé de la séance, afin de motiver l'enfant au moyen de cette photographie sonore de sa voix 
(Figure 5.30). Au cours des différentes séances de travail avec les enfants, j'ai pu constater qu'il 
résulte toujours difficile, en début de séance, de stimuler l'enfant pour qu'il interagisse avec 
l'activité. Grâce à une reproduction sporadique de la voix de l'enfant, l'éducateur pourra 
favoriser la détente et l'attention de celui-ci au cours de l'activité proposée. 
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Figure 5.30: Ce sub-patch permet d'enregistrer la première émission vocale et de la stocker. 



Une troisième activité se caractérise par la possibilité de reproduire différentes séquences 
sonores. Le séquences jouent également un rôle dans la stimulation des émission vocales 
produites par l'enfant. On utilisera tel ou tel type de sonorité en fonction des cas, mais les sons et 
les séquences sonores ne seront jamais modifiées par les émissions vocales de l'enfant (Figure 
5.31). 
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Figure 5.31: Sub-patch qui permet de charger et de sélectionner les sons et les séquences sonores. 



- Les objectifs de l'activité sont : 

. Pourvoir l'enfant d'une image sonore de lui-même. 
. Renforcer la sensation de causalité. 

- L'objectif à accomplir par l'enfant : 

. Prendre conscience de lui-même à partir de sa propre voix. 

- Tâches à réaliser par l'enfant en vue de l'accomplissement de cet objectif : 
. Réaliser des émissions vocales/ 

. Écouter les résultat sonores produits par le système/ 

- Le SMI : ce SMI a été conçu d'après les modèles polarisés décrits antérieurement. Il présente 
davantage de similitudes avec le score-driven System, la réponse répétitive et le modèle 
instrument qu'avec les autres catégories. Ce SMI est formé par l'ordinateur, le patch Max/MSP 
(Figure 3.32) et le microphone. Il est chargé de : 
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Recevoir les informations qui arrivent du contrôleur (ici, le microphone). 
Générer une réponse sonore. 



Figure 5.32: Patch Max/MSP qui permet de sélectionner les activités proposées avec ce module 

interactif. 
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- Le système de captation et le geste physique du SMI : le son du microphone est récupéré par le 
patch Max/MSP et analysé en vue de l'extraction de certaines valeurs, telles que les attaques, qui 
serviront à contrôler le moteur du SMI. 

- Le moteur et le son résultant du SMI : le moteur du patch Sound- To-Sound consiste en un 
ensemble de traitements sonores (chorus, changement de pitch, réverbération, flanger, delay, 
filtres) qui modifient la perception de la voix de l'utilisateur et lui permettent d'atteindre un autre 
état de perception sonore. Tous ces traitements sont combinés entre eux sous la forme de trois 
applications que l'utilisateur peut sélectionner: SPACE, GRANULAR, NOISE (Figure 5.33). 



373 



Chacun de ces trois effets ou traitements possède une échelle présentant dix degrés de traitement. 
Cette échelle permet à l'utilisateur d'évoluer d'un traitement faible du son d'origine vers un 
traitement beaucoup plus prononcé, ne donnant quasiment plus à entendre le son d'origine. Dans 
ce dernier cas, l'image sonore devient plus abstraite (Figure 5.34). 
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Figure 5.33: Sub-patch qui permet de sélectionner le traitement et le degré de distorsion de 
l'émission vocale selon une échelle allant d'un traitement faible (1) à un traitement plus prononcé 

(10). 




Figure 5.34: Sub patch contenant tous les traitements ainsi que les presets qui déterminent la 
configuration de chaque traitement pour chaque degré de l'échelle. 
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Dans cette activité, les éducateurs peuvent utiliser les sons et les séquences des quatre groupes 
biosémiotiques afin d'encourager l'enfant à interagir avec les trois espaces sonores proposés. La 
possibilité de charger des sons et des séquences sonores sert à stimuler les émissions vocales. Les 
sons et les séquences sonores d'une durée brève sont fortement conseillés en vue de faire 
comprendre le rapport de causalité existant entre l'impulsion sonore vocale et la réponse du 
système. 

- La mise en correspondance du SMI : les attaques produites par les émissions vocales sont mises 
directement en relation avec le déclenchement de séquences sonores d'une durée brève, ce qui 
permet de faire comprendre à l'enfant le rapport de causalité existant entre ces deux événements. 
Cette activité peut être configurée selon deux échelles dont va dépendre le temps d'attente avant 
la réponse du système: 

. Le temps de réponse du système entre l'attaque et le son. 

. La quantité d'énergie vocale requise pour déclencher un son. 



3 -Voice: 

- Description de l'activité : Cette activité permet à l'enfant d'interagir avec sa propre voix selon 
une échelle de traitement polarisée allant d'un traitement faible à un traitement plus prononcé . 



■ Les objectifs de l'activité sont : 

Pourvoir l'enfant d'une image sonore de lui-même en lui donnant la possibilité de la modifier. 

■ L'objectif à accomplir par l'enfant : 
Prendre conscience de lui-même. 
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- Tâches à réaliser par l'enfant en vue de l'accomplissement de cet objectif : 
. Réaliser des émissions vocales selon une échelle de traitement polarisé. 

. Écouter le résultat sonore suite à la transformation opérée. 
. Agir en fonction du résultat sonore perçu. 

- Le SMI: ce SMI a été conçu d'après les modèles polarisés décrits antérieurement. Il présente 
davantage de similitudes avec la performance-driven Systems, la réponse changeante-générative 
et le modèle interprète qu'avec les autres catégories. Ce SMI est formé par l'ordinateur, le patch 
Max/MSP (Figure 5.35) et le microphone. Il est chargé de: 

. Recevoir les informations provenant du contrôleur (ici, le microphone). 

. Générer une réponse sonore. 

- Le système de captation et le geste physique du SMI : le microphone et la souris de l'ordinateur. 

- Le moteur et le son résultant du SMI: Pour cette activité, la possibilité de charger des sons ou 
des séquences sonores a été écartée en vue de centrer le travail sur la transformation de l'image 
de la voix. 

Plusieurs traitements sonores sont disponibles: chorus, changement de pitch, reverb, flanger, 
delay ; filtres (Figure 5.36). Tous ces traitements peuvent être sélectionnés de façon indépendante 
par l'utilisateur. Le traitement sélectionné possède une échelle graduelle de traitement polarisé. 
Cette échelle offre à l'utilisateur la possibilité d'évoluer d'un traitement faible à un son 
extrêmement traité ne laissant presque plus percevoir le son d'origine. 

Une deuxième échelle permet de mixer le son traité avec la source sonore. Une troisième échelle 
va servir à établir un delay entre l'émission vocale (ou source) et la réponse du système, ce qui 
aura pour conséquence de créer un sentiment d'attente chez l'utilisateur (Figure 5.37). 

L'ensemble de ces traitements et de ces mixages qui utilisent la source sonore peuvent eux- 
mêmes faire l'objet d'un traitement par un écho qui modifie le pitch (Figure 5.38). Toutes ces 
possibilités permettent de générer une image plus ou moins éloignée d'une source sonore, telle 
que la voix, et de créer ainsi une nouvelle réalité sonore à partir de ces émissions vocales. 



376 



VOICE 
PATCH 



ON/OFF DSP lnput(0-100) 


Voice effect 






E3 L°~) 

1 


chorus prtLJi revarb 
oet^ fine» 


Hangar 




Balance among original vocie 


Ech 






and voice with effect 


Wl/ÛFF TIME 


Seconds between t 


<.■•:• rapatriions 


II 


U 1 1 


11.1 


«■s^, Bn * .a» 






e 




Quantity of voice efîect 


PITCH 






1 


~J Semlten 






e 




Seinltai 








T " L£_l 








Delà/ 


Output 






Second 


l> | 


p rïuwlûpd 













Figure 5.35: Interface graphique présentant l'ensemble des différents sliders de contrôle. 




Figure 5.36: Boutons de l'interface graphique servant à sélectionner le type de traitement sonore 

appliqué à la voix. 

- La mise en correspondance du SMI : le son du microphone passe par les différents traitements 
mais ne contrôle, à aucun moment, les valeurs des traitements sonores. L'éducateur, ou la 
personne qui est au contrôle du SMI lors de l'interaction, possède en revanche la capacité de 
réguler avec la souris les deux échelles de traitement sonore. 
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La mise en correspondance (entre le geste du contrôleur, la souris et les sliders de l'interface 
graphique du patch Max/Msp d'une part et l'évolution des deux échelles de traitement d'autre 
part) est de type divergente car une seule valeur de contrôle gère plusieurs paramètres de 
complexité du résultat sonore. 
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Figure 5.37 : Échelle graduelle de traitement; échelle qui permet de mixer le son traité avec la 
source sonore; delay entre l'émission vocale ou source et la réponse du système. 
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Figure 5.38 : Les traitements et les mixages, effectués à partir de la source sonore, peuvent être 
eux-mêmes traités par un écho qui modifie le pitch. 

- Évaluation artistique de l'activité: les activités Sound-To-Sound et Voice peuvent être 
conçuesselon une même logique de fonctionnement, mais avec un degré de complexité et 
d'expressivité distincts. L'activité Voice présente davantage d'intérêt artistique que l'activité 
Sound-To-Sound. Elle offre une échelle graduelle de traitement et de mixage entre les différentes 
sources, ce qui favorise une variété de l'activité au niveau du timbre. Les deux activités 
pourraient s'inscrire également parfaitement dans un contexte de musique électroacoustique 
mixte : chaque événement de la partition déclencherait une configuration déterminée, tandis 
qu'un contrôle évolutif pourrait être exercé en temps réel sur les échelles de traitement présentées 
antérieurement. 
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5.3.5 L'objet communicant 



4) 


-Activité centrée 


1 -Le cube 


-Objet 


-Son 


-Haut-parleurs 


Objets 


sur la 




communicant 






communicants 


manipulation d'un 
objet physique 






-Image 


-Ecran vidéo 



Tableau 5.6 : L'objet communicant. 



1- Le cube 



- Description de l'activité : Cette activité consiste en la manipulation d'un cube de tissu. Ce cube 
est l'objet à partir duquel on obtiendra les objets sonores qui vont nourrir le moteur sonore de 
l'activité. Il constitue également l'interface physique qui servira à jouer d'un instrument de 
musique et à traiter le son. L'activité présente deux phases distinctes: 

. Dans une première phase, l'enfant est invité à prendre le microphone pour le frotter sur la 
surface du cube. Chacun des six côtés du cube présente certaines irrégularités et variations au 
niveau de la texture. Cette caractéristique permet à l'enfant d'obtenir plusieurs sonorités à partir 
du cube. Ces sonorités sont amplifiées et traitées avec de la réverbération. 

. Dans une deuxième phase, le cube devient un instrument de musique; le son produit par l'enfant 
avec le microphone est alors enregistré en temps réel. L'enfant est invité à jouer et à faire tourner 
le cube à différentes vitesses pour ainsi découvrir et manipuler le son qu'il a enregistré grâce au 
microphone. 

- Les objectifs de l'activité sont : 

. Comprendre la dimension spatiale des objets. 
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- L'objectif à accomplir par l'enfant : 

. La manipulation d'un objet avec les mains, tout en essayant d'exercer le plus de contrôle 
possible sur celui-ci. 

- Tâches à réaliser par l'enfant en vue de l'accomplissement de cet objectif : 
. Frotter le microphone sur les différentes surfaces du cube. 

. Enregistrer le son produit par cette action, lorsqu'il l'exerce sur les six différents côtés du cube. 

. Jouer et faire tourner le cube pour manipuler le son et jouer également d'un instrument MIDI 
virtuel. 



- Le SMI : ce SMI est conçu d'après le modèle d'interaction action - perception ; l'enfant, par son 
action, provoque des réponses sonores du système et agit ensuite en fonction de celles-ci. Ce 
SMI a aussi été conçu d'après les modèles polarisés décrits antérieurement. Il présente davantage 
de similitudes avec la performance-driven Systems, la réponse changeante-générative, et le 
modèle instrument qu'avec les autres catégories. Ce SMI est formé par le microphone, 
l'ordinateur, le patch Max/MSP (Figure 5.39), le cube en tissu et la télécommande de la Wii. 

Il est chargé de : 

. Recevoir les informations provenant du contrôleur (ici, le microphone et la télécommande de la 
Wii). 

. Générer une réponse sonore en fonction du geste effectué. 
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1 ■ MIDI SOL 

2 - GRABAR - 1 
3 • GRABAR ■ 2 
4 ■ GRABAR ■ 3 
5 -GRABAR -4 

È . SO DIRECTE 1 

7 SO DIRECTE 1 +MIDI 

È - SO DIRECTE 4 

S -SO DIRECTE 4 + MIDI 

10 -SO DIRECTE 1 + Tractamenl 

11 - SO DIRECTE 1 + Tractamenl + 
MIDI 

12 - SO DIRECTE 4 + Tractamenl 

13 - SO DIRECTE 4 + Tractamenl 
+ MIDI 

14 -SO DIRECTE 4 PQSICIO 



Figure 5.39: Patch Max/MSP. 



- Le système de captation et le geste physique du SMI : la télécommande de la Wii est placée à 
l'intérieur du cube (Figure 5.40), de façon à ce que les données relatives à la vitesse et à la 
rotation de la télécommande puissent être collectées (Figure 5.41). 
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Figure 5.40 : La télécommande de la Wii est placée à l'intérieur du cube. 
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Figure 5.41 : Les données relatives à la vitesse et à la rotation de la télécommande Wii. 
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- Le moteur et le son résultant du SMI : Le moteur est constitué principalement de cinq éléments: 

. L'instrument MIDI (Figure 5.42, Figure 5.43). 

. L'amplification et la réverbération du son d'entrée. 

. Quatre buffers qui enregistrent le son produit par le frottement du microphone sur les différentes 
surfaces du cube (Figure 5.44). 

. Ralentissement et accélération de la vitesse de lecture des fichiers audio enregistrés en temps 
réel. 

. Re-synthèse en temps réel des informations contenues dans les fichiers audio précédents 
(Figure 5.45). 




Figure 5.42 : Interface de l'instrument MIDI. 
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Figure 5.43 : L'instrument MIDI. 
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Figure 5.44 : Les buffers. 
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Figure 5.45 : Re-synthèse en temps réel des informations contenues dans les fichiers audio. 



385 



- La mise en correspondance du SMI :lLes valeurs de vitesse de la télécommande de la Wii en 
position verticale et horizontale sont converties en valeurs de position dans un espace cartésien. 



. Dans une mise en correspondance divergente, les positions dans l'axe Y nous permettent de 
modifier la vitesse de lecture d'un ficher audio enregistré en temps réel. La même valeur nous 
permet de sélectionner les valeurs contenues dans un ficher de texte qui actionneront les notes 
MIDI de l'instrument. 

. Les valeurs de représentation de la position de la télécommande de la Wii dans l'axe X sont 
mises en relation divergente avec les valeurs qui seront utilisées pour la transposition des notes 
MIDI, ainsi que pour le contrôle de l'interpolation des presets de la re-synthèse (Figure 5.46). 
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Figure 5.46 : Interpolation des presets de la re-synthèse sonore. 



- Partition du SMI : l'interface graphique possède une série de seize boutons qui vont actionner 
une chaîne précise de mises en correspondance afin de composer un espace sensible. Ces seize 
possibilités on été classées selon une échelle de complexité des mises en relation permettant de 
faire évoluer l'enfant d'une compréhension basique de la relation entre geste et résultat sonore à 
une relation plus complexe. 
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Le premier degré de complexité consiste, par exemple, à faire tourner le cube pour obtenir des 
notes MIDI. La seizième étape, la plus complexe, consiste à faire tourner le cube pour 
sélectionner les notes MIDI et leur transposition, choisir selon la rotation du cube un fichier 
audio et changer sa vitesse de lecture. Entre ces deux exemples, j'ai construit des étapes 
intermédiaires pour que l'enfant puisse avoir des repères. 



- Évaluation artistique de l'activité: l'intérêt artistique de cette activité réside dans le désir 
d'exploration et de manipulation que l'objet induit. Celui-ci nous pousse à le faire bouger, 
tourner, etc., nous invitant par là à chercher les correspondances sonores existant entre les 
différents côtés du cube, la vitesse de rotation de celui-ci et les échantillons sonores déclenchés. 
Cet objet favorise en définitive une activité ludique et une exploration gestuelle. Dans un 
contexte artistique, il pourrait s'avérer intéressant de concevoir une installation sonore formée par 
plusieurs cubes, s'apparentant ainsi à un véritable orchestre de cubes sonores interactifs. 
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5.3.6 Le corps comme instrument 



5) -Le corps comme 

Le corps comme générateur d'image et 
instrument de son 



-Activités de génération 
sonore: 

1 -Instrument virtuel. 
Patch SATI2008 

2-Instrument virtuel. Le 
patch Image-To-Sound 

3-Déplacement à 
l'intérieur d'un sampler. 
Le patch Loop DJ 



-Voix 
-Caméra 



-Son 
-Image 



-Haut-parleurs 
-Écran vidéo 



Tableau 5.7 : Le corps comme instrument. 

Activités de génération sonore: Ces trois activités reposent sur le modèle instrument. 
L'objectif est que l'utilisateur puisse jouer d'un instrument grâce à son mouvement corporel. Pour 
cela, j'utilise un système qui capte le mouvement effectué par une partie du corps au moyen d'une 
webcam. Le système permet de récupérer les valeurs de position et de vitesse du mouvement 
dans les axes X et Y. 



1 - Le patch SATI2008: 

- Description de l'activité: De même que pour l'activité «le miroir qui déforme la voix», «ma 
voix déformée», le SMI SATI2008 est un instrument musical virtuel qui utilise la caméra web 
comme système de captation. Cette activité permet à l'enfant de jouer d'un instrument de 
musique. 

- L'objectif de l'activité est : 

. Permettre à l'enfant de jouer d'un instrument de musique. 



■ L'objectif à accomplir par l'enfant : 

Prendre conscience de son corps à travers le mouvement d'une de ses parties. 

■ Tâches à réaliser par l'enfant en vue de l'accomplissement de cet objectif : 
Mouvoir une partie du corps en faisant preuve du plus de contrôle possible. 
Écouter et interagir avec le résultat sonore provenant du mouvement corporel. 
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- Le SMI : Ce SMI a été conçu d'après les modèles polarisés décrits antérieurement. Il présente 
davantage de similitudes avec la performance-driven Systems, la réponse répétitive et le modèle 
instrument qu'avec les autres catégories. Ce SMI est formé par l'ordinateur, le patch Max/MSP et 
la caméra web. Il est chargé de : 

. Recevoir les informations provenant du contrôleur (ici, la caméra web) concernant la position 
et la vitesse du mouvement. 

. Générer une réponse sonore, mettant en relation la position et la vitesse du mouvement réalisé 
dans la partie du corps choisie, avec la partition MIDI que l'éducateur a sélectionné. 

- Le système de captation et le geste physique du SMI: La caméra web envoie au système les 
informations concernant la position et la vitesse du mouvement corporel (Figure 5.47). 
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Figure 5.47 : Sub-patch Max/MSP qui permet de visualiser les données provenant de la caméra 

web. 



- Le moteur et le son résultant du SMI : le moteur de ce SMI est constitué de six échelles 
musicales: blues, chromatique, naturelle majeure, naturelle mineure, pentatonique majeure et 
pentatonique mineure (Figure 5.48). Le patch SATI2008 incorpore de plus le module de 
traitement de la voix, déjà détaillé pour les activités précédentes. 
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Ces caractéristiques font du module SATI2008 un espace virtuel particulièrement riche au niveau 



- La mise en correspondance du SMI : les données concernant la vitesse et la position, collectées 
par le système, sont mises en correspondance avec une des différentes partitions MIDI. La 
position de l'utilisateur offre, par exemple, la possibilité de contrôler la note jouée tandis que la 
vitesse de mouvement affectera le volume de la note. La mise en correspondance, dans le cas des 
partitions virtuelles, est de type unitaire. 
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Figure 5.48 : Sub patch qui permet de charger les partitions, de configurer certains paramètres 
d'exécution des notes, de choisir l'instrument, etc.. 



Bien qu'on puisse utiliser l'intégralité du patch SATI2008 à partir des possibilités de traitement 
sonore décrites dans les activités précédentes, nous pouvons établir également des relations plus 
complexes entre le contrôle gestuel et le moteur. Les données provenant de la caméra web 
pourront, par exemple, contrôler la synthèse FM (fréquence, harmonicité et modulation d'index) 
mais aussi les valeurs de contrôle relatives à la vitesse de lecture de deux séquences sonores 
jouées simultanément. 
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2 - Image-To-Sound: 

- Description de l'activité : Cette activité est presque identique à l'activité précédente, le patch 
SATI2008, mais présente cependant quelques différences méritant d'être exposées (Figure 5.49): 

. Cette activité n'offre pas la possibilité de traiter la voix ni de charger des sons et des séquences 
sonores. 

. Le geste corporel effectué dans une partie du corps interagit avec la partition virtuelle. 
L'utilisateur va déterminer dans cette partition non seulement le choix de la note qui sera jouée 
mais également sa vitesse et sa transposition. Nous pouvons ainsi choisir l'axe dans lequel nous 
allons sélectionner les notes et celui dans lequel nous allons jouer sur la transposition de ces 
mêmes notes. 

. Le moteur sonore possède la capacité de charger des instruments VST, ce qui permettra d'élargir 
la palette sonore lors de l'exécution des partitions virtuelles. De cette manière, nous obtenons une 
palette sonore d'une grande richesse, à même d'encourager positivement l'enfant dans son 
interaction et dans son exploration de l'espace sensible. 

- Évaluation artistique de l'activité : cette activité est très pertinente dans le cadre d'une 
proposition musicale intégrant de la danse ou une performance scénique : le corps explorerait 
ainsi l'espace ou interagirait avec des objets physiques placés dans un espace déterminé. Le 
dispositif proposé, qui utilise la captation d'images pour générer et contrôler des sons, atteste des 
relations possibles entre image et son. Celles-ci se matérialisent dans la translation entre des 
données correspondant à une description de l'espace (position d'un objet dans l'espace) et des 
données de contrôle temporel (contrôle évolutif des paramètres sonores). 
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Figure 5.49 : Interface graphique du patch Max/Msp. 



3 - Loop DJ: 

- Description de l'activité : Loop DJ est une activité qui permet à l'enfant de se déplacer, à la 
façon d'un diskjokey, à l'intérieur d'une archive audio, chargée au préalable par l'éducateur sur le 
système. 

- Les objectifs de l'activité sont : 

. Travailler le mouvement corporel. 

. Travailler la mémoire gestuelle et cognitive. 
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- L'objectif à accomplir par l'enfant : 

. Travailler sur la répétition et le contrôle de certains mouvements corporels afin d'obtenir un 
résultat sonore identique. 

. Associer certaines positions corporelles et certaines images à un certain résultat sonore. 



- Tâches à réaliser par l'enfant en vue de l'accomplissement de ces objectifs: 

. Mouvoir une partie du corps pour sélectionner certains fragments d'une archive sonore qu'il 
désire mettre en boucle. 

. Construire un discours sonore à base de boucles. 



- Le SMI : ce SMI a été conçu d'après les modèles polarisés décrits antérieurement. Il présente 
davantage de similitudes avec la performance-driven Systems, la réponse répétitive et le modèle 
instrument qu'avec les autres catégories. Ce SMI est formé par l'ordinateur, le patch Max/MSP 
(Figure 5.50) et la caméra web. Il est chargé de: 

. Recevoir les informations provenant du contrôleur (ici, la caméra web). 

. Générer une réponse sonore en fonction de la position du corps. 

Le système possède deux modes de fonctionnement selon les capacités cognitives de l'enfant : 

. On peut charger une séquence sonore et visualiser sa forme d'onde sous la forme d'une 
représentation graphique (Figure 5.51). Cette représentation graphique sert à l'enfant comme 
point de repère lorsqu'il effectue le mouvement corporel. 

. On peut aussi charger une image fixe composée de plusieurs images, représentant les différents 
éléments sonores qui constituent l'archive audio (Figure 5.52). Par exemple, si une séquence 
sonore commence par une texture de pluie, évolue ensuite vers une texture rappelant des pas et 
s'achève enfin par des sons d'instruments de musique, nous allons charger l'image correspondant 
à cette séquence sonore. Cette image concrète pourra ainsi être constituée d'une image de pluie, 
d'une image montrant une personne qui marche et d'une image d'instruments de musique. Elle 
devient alors une partition graphique sur laquelle l'enfant peut naviguer de façon sonore. 
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Figure 5.50: Interface graphique du patch Max/MSP qui permet de charger les séquences sonores 
et les images correspondant à chaque séquence sonore. 
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Figure 5.51: Représentation graphique de la séquence sonore choisie. 




Figure 5.52 : Représentation des différents éléments sonores constituant le fichier audio choisie. 



394 



- Le système de captation et le geste physique du SMI: La caméra en réseau détecte la position 
dans l'axe X et Y de la partie du corps choisi. Le système possède deux modes de 
fonctionnement : 



- Le moteur et le son résultant du SMI: Le son résultant dépend directement de la séquences 
sonore sélectionnée. Pour cette activité, j'ai prévu des séquences constituées de sons très variés, 
ce qui facilite la compréhension de la relation, de façon très nette, entre la position corporelle et 
le résultat sonore perçu. Dans cette perspective, des séquences sonores appartenant aux quatre 
groupes dits biosémiotiques ont été composés. 

- La mise en correspondance du SMI : la mise en correspondance est de type unitaire. Si 
l'utilisateur bouge dans l'axe X, une séquence sonore est activée en fonction de la position d'une 
partie du corps de l'enfant. La boucle est créée entre la position de l'utilisateur et un intervalle de 
durée configurable. Ainsi, le patch Max/MSP permet de contrôler le volume sonore grâce au 
mouvement sur l'axe Y. 



- Évaluation artistique de l'activité : l'exploration d'un ou de plusieurs échantillons sonores, à 
l'aide du mouvement corporel, s'inscrirait de manière pertinente dans le cadre d'une proposition 
artistique reposant sur l'improvisation électroacoustique. Dans un contexte artistique, il me 
semblerait intéressant de pouvoir contrôler simultanément plusieurs échantillons afin d'accéder 
aux différentes échelles temporelles, inscrites dans ces échantillons. Par ailleurs, il serait 
approprié que les images, proposées au cours de cette activité, tendent vers l'abstraction visuelle 
et ne soient donc pas de type figuratif, comme pour le projet EMSTI. Un plus grand 
développement de la partie visuelle serait, de plus, bienvenu ; un deuxième écran ou une 
projection visuelle pourraient servir à renforcer le résultat sonore produit par le mouvement 
corporel. 
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6. Conclusions du projet EMSTI 

Le projet EMSTI, ainsi que ma participation, au sein d'un groupe de travail spécialisé sur le 
handicap, sont spécifiques. Une conclusion prématurée serait délicate, et ce pour les raisons 
suivantes : 

. Le projet n'est pas à terme et son développement est toujours d'actualité. 

. En raison d'un manque de fonds, le projet ne dispose pas de tous les professionnels qui seraient 
indispensables pour le mener actuellement à terme. 

Notamment, il faudrait des éducateurs formés à l'utilisation des applications interactives, 
alors que d'autres analyseraient, avec le concours de psychologues, les enregistrements des 
séances réalisées avec l'ensemble des participants. Il faudrait également des éducateurs qui 
seraient attachés à la réalisation des activités en compagnie des enfants. Enfin, des fonds seraient 
nécessaires pour disposer d'éducateurs qui élaboreraient un projet thérapeutique, ludique et 
transversal qui impliquant non seulement les activités interactives, mais aussi d'autres activités 
complémentaires, comme des séances de musicothérapie. 

. Le manque de ressources pour développer et pour mettre en application techniquement le projet 
comme il avait été initialement prévu. Une description est présentée dans les premiers chapitres 
de la troisième partie de la thèse (Figure 5.1). Il faut développer un système qui permet de 
sélectionner les activités les plus appropriées à chaque personne selon ses limitations et ses 
possibilités. Un historique des activités et des résultats obtenus manque encore pour faire une 
évaluation correcte. Il faut produire un système capable de collecter toutes l'information 
nécessaire, notamment pour faire une description fiable et établir une procédure qui soit 
conforme à un véritable système d'évaluation des résultats obtenus avec les enfants. Cette 
évaluation doit se faire à partir des critères qui ciblent les améliorations possibles. 

. Il faut procéder à des tests avec d'autres contrôleurs, qu'ils soient invasifs et pas. 

. Il manque encore une coordination entre le projet sonore et le projet visuel du système. 

. Il faut tester d'autres systèmes de vision artificielle que ceux qui sont exposés auparavant. 
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- Sur les objectifs du projet : malgré les limitations exposées ici que je crois qu'il est possible de 
faire quelques conclusions relatives à ma participation au projet : certains objectifs proposés 
initialement n'ont pas été atteints, et il n'a pas été possible d'obtenir tous les résultats escomptés. 



Par exemple : 

Développement d'un système multisensoriel thérapeutique interactif qui intègre des 
capteurs de mouvement corporel et d'émission sonore, analyse l'activité de l'utilisateur et génère 
une réponse conforme à l'information d'entrée. 

Les SMI ont apportés aux enfants un outil interactif qui a un grand potentiel de 
développement si celui-ci est convenablement utilisé. Je crois sincèrement qu'il peut améliorer la 
qualité de vie de quelques enfants avec un fort handicap. Grâce aux activités interactives, 
expliquées à quelques-uns d'entre eux, selon les recommandations des disent éducateurs présents 
lors des séances, il aura été possible d'expérimenter la sensation de présence. De plus, cela a 
contribué a favoriser un contrôle arbitraire sur un phénomène prédéterminé, qui n'est pas 
fréquent dans de telles situations. L'enfant pu vivre une expérience centrée sur le «je suis » ; et 
la sensation d'être le responsable de ce qui se succède dans les activités interactives. 

Le système développé doit permettre à ses utilisateurs de : disposer d'une activité 
hautement interactive, qui contribue à renforcer l'association de cause à effet chez les utilisateurs 
atteints d'un handicap plus ou moins profond. Et disposer d'un outil qui facilite ou qui permette 
l'expression et le jeu à des personnes dont les capacités physiques et ou cognitives sont 
légèrement ou modérément limitées. 



- Les modèles et les paradigmes des SMI : l'essentiel des activités interactives qui ont été 
réalisées pour le projet ont été principalement fondés sur la construction de SMI répondant aux 
modèles ou en fonctions des paradigmes polarisés suivants : le modèle de performance - driven 
Systems, le modèle de réponse répétitive et le modèle d'instrument. Aussi, les modèles basés sur 
des relations d'interactivité ont été plus fréquents que ceux qui basés sur les relations 
d'interaction. Il apparaît que les modèles d'interactivité ont eu un fonctionnement plus évident et 
un rendu plus convaincant. 
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Cependant, le manque de temps pour l'expérimentation et pour laisser l'opportunité aux 
enfants d'évoluer et de s'approprier ces outils a été préjudiciable pour une évaluation correcte des 
effets d'une progression personnelle dans la manipulation de ces outils. Dans tous les cas, les 
relations de cause à d'effet ont été les plus efficaces dans la perception et dans les enjeux sonores 
et moteurs. 

La relation de cause à effet : le cadre du projet EMSTI sert à extraire, non seulement une 
utilisation d'un dispositif déterminé pour l'appliquer dans d'autres contextes artistiques, mais 
aussi la perspective d'un apprentissage sur les SMI. Les relations de « cause à effet » renforcent 
la compréhension des relations interactives, et alors même que sa complexité puisse être 
relativement basse, les relations les plus efficaces le sont tout autant dans certains contextes 
comme le handicap. 

Bien qu'il y ait d'autres paradigmes et d'autres modèles interactifs plus complexes qui 
peuvent être exposées, leur utilisation dans le projet EMSTI a été jusqu'à présent plutôt limitée. 
J'aurai pu constater que la construction d'un SMI doté de niveaux distincts de complexité serait 
de nature à produire un SMI évolutif. À l'aide d'un « indice de distorsion », il est possible 
d'augmenter délibérément la complexité du système. J'entends par « index de distorsion » le 
degré de déformation et de transformation d'un état ainsi que le passage d'une configuration à 
une autre par le système lui-même, de manière significative au niveau perceptif. 

- Des contenus sonores : il me semble qu'il faille remarquer que la singularité de ce projet réside 
également dans l'élaboration d'un matériau sonore destiné aux contenus sonores. Mon rôle en 
tant qu'artiste a été de créer des sons et des séquences fondés sur un postulat théorique. Celui-ci 
est explicité dans les chapitres antérieurs. Il m'a permis de justifier leur usage dans le projet. 

Les séances réalisées avec les enfants démontrent que le matériau sonore expérimental a 
suscité un fort intérêt et a été très apprécié par les enfants. Ceux-ci ne sont pas habitués à 
entendre un corpus de son dont la matière sonore plus aboutie, sur le plan sensible, que celle de 
leur environnement le plus immédiat. L'usage des Unités Sémiotiques Temporelles, pour 
l'élaboration des contenus sonores, a semblé de circonstance et particulièrement opportun, alors 
même le projet tourne autour de la création de brèves séquences temporelles dépourvues de 
développement dans le temps. 
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Certains gestes choisis et une sémantique adaptée facilitent l'intelligibilité pour la grande 
majorité de gens exposés à un contexte sonore et gestuel. Extrapoler son usage dans le domaine 
de la composition musicale est plus délicat puisqu'il ne s'agit plus seulement d'unités d'analyses 
de description événementielle, mais d'événements limités dans le temps. 
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7. Proposition d'un modèle personnel de conception des SMI : 

7.1 Les relations d'interaction et d'interactivité constituent à différents niveaux un réseau 
de relations d'ordre structurel et temporel 

Si l'on considère une différence qualitative entre les notions d'interactivité et d'interaction, 
je propose plusieurs types de relations à partir de la combinaison des cellules descriptives 
suivantes : 

La cellule (A — >B) indique une relation d'interactivité entre un premier système, appelé 
A, qui génère une réponse du système B (1). Par exemple, lorsqu'un utilisateur appuie sur un 
bouton intégré dans un SMI, cette action déclenche toujours un fichier sonore. 

La cellule (A< >B) indique une relation d'interaction entre un premier système, appelé 

A, qui génère une réponse du système B. À son tour, la réponse du système B génère une 
réponse vers le système A. Dans cette thèse, par exemple, j'ai proposé une vision des SMI en tant 
que réseau d'objets hétérogènes, qui comprend l'ensemble des éléments composant un SMI. À 

partir de cette conception, je peux imaginer, selon le modèle de la cellule (A< >B), un 

système A correspondant aux gestes de l'utilisateur (vitesse de mouvement) et un système B 
contrôlant plusieurs paramètres, qui vont déterminer le timbre d'un son de synthèse. Je peux ainsi 
mettre en relation la vitesse des gestes avec le timbre du son de synthèse ; à son tour, le son de 
synthèse exercera une influence sur la vitesse du geste de l'utilisateur du SMI, grâce une 
interaction du type action - perception. 

À l'intérieur de chaque système donné (A, B, C, D, E, etc.), il est possible d'obtenir 
simultanément les deux types de relations décrites ci-dessus, par exemple : 

- À l'intérieur du système A, soit la relation interactive : 

Système A (A'— ->B') > Système B. 



1. La relation d'interactivité est notée — > et la relation d'interaction est notée ■= 
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En partant de l'exemple précèdent, le système A (qui représente les valeurs de vitesse du 
geste de l'utilisateur transmises par le contrôleur d'un SMI) est mis en correspondance avec les 
valeurs qui contrôlent la génération de la synthèse sonore à l'intérieur du système B, qui est ici le 
moteur de synthèse. À l'intérieur du système A, nous avons cependant aussi des relations du type 
(A-->B'). 



Par exemple, ce module (A' — >B') à l'intérieur du système A, pourrait indiquer, dans une 
situation hypothétique, que A' possède une échelle de vitesse comprise entre deux valeurs 
minium et maximum, et 1. La représentation de ces valeurs peut aussi se réaliser à l'aide de 
deux graphiques, pourvus de valeurs différentes, tel qu'on peut le voir dans le système B' (Figure 
7.1). 




Pour contrôl&r 
a synthèse 
sonore 



* Système B 



Figure 7.1 : Système A (A— ->B') • 



-> Système B 



À l'intérieur des systèmes A et B, soit la relation d'interaction 



Système A (A'<— ->B') 



-> Système B (A"<— ->B"). 
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À partir de l'exemple précédent, si nous appliquons des relations d'interaction à l'intérieur 
des systèmes A et B, nous pouvons rendre ce système encore plus complexe. Imaginons pour 
cela qu'il existe des relations d'interaction entre A' et B' à l'intérieur de A ; c'est-à-dire, que les 
résultats obtenus par A' modifient le comportement de B', et que ceux obtenus par B' influent à 
leur tour sur le comportement de A'. Ces mêmes relations pourrait également exister à l'intérieur 
du système B. 

La relation interactive et la relation d'interaction peuvent coexister en fonction de plusieurs 
types de relations internes ; c'est-à-dire que ces relations peuvent être définies récursivement, A 
pouvant à son tour contenir des sous-parties A' et B' : Système A (A' — >B') (Tableau 7.1). 

Ces relations interactives et d'interaction sont indépendantes du type de mise en 
correspondance. Par exemple, dans le cas de la relation Système A (A' — >B') > 

Système B : la mise en correspondance peut être unitaire, c'est à dire que les valeurs résultant des 
calculs du système A, ne sont en relation directe qu'avec une seule valeur du système B. 
Parallèlement, les mêmes valeurs sortant du système A peuvent contrôler, dans une mise en 
correspondance divergente, plusieurs valeurs du système B. 

Ces relations interactives et d'interaction vont, par contre, déterminer le type du paradigme 
polarisé de classification des SMI. On rencontre, par exemple, des relations d'interaction 
essentiellement sur des paradigmes qui favorisent l'interprétation et la prise de décision en temps 
réel. Les relations interactives, quant à elles, vont davantage se trouver sur des paradigmes qui 
génèrent une réponse plus déterminée et moins changeante. 
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Relations interactives 



Relations d'interactions 



Système A >Système B 

Système A >Système B (A"~>B") 

Système A >Système B (A"<->B") 

Système A >Système B (A"<->B" et A"-->B") 

>Système 



Système A (A'->B') 
B 



Système A (A'<->B')- 



->Système B 



Système A (A'<->B r et A'-->B') >Système B 

Système A (A'-->B') >Système B (A"-->B") 

Système A (A'~>B') >Système B (A"<->B") 

Système A (A'-->B') >Système B (A"<->B" et A"-->B") 

Système A (A'<->B') >Système B (A"~>B") 

Système A (A'<-->B') >Système B (A"<->B") 

Système A (A'<->B') >Système B (A"<~>B" etA"-->B") 

Système A (A'<->B r et A'-->B') >Système B (A"->B") 

Système A (A'<-->B r et A'->B') >Système B (A"<~>B") 

Système A (A'<->B r et A'-->B') >Système B (A"<->B" et A"->B") 



Système A< >Système B 

Système A< >Systèmc B (A"->B") 

Système A< >Système B (A"<->B") 

Système A< >Système B (A"<-->B" et A"->B") 

Système A (A'->B')< >Système B 

Système A (A'<->B')< >Système B 

Système A (A'<-->B' et A'->B')< >Système B 

Système A (A'->B')< >Système B (A"->B") 

Système A (A'-->B')< >Système B (A"<->B") 

Système A (A'->B')< >Système B (A"<->B" et A"-->B") 

Système A (A'<-->B')< >Système B (A"-->B") 

Système A (A'<->B')< >Système B (A"<->B") 

Système A (A'<-->B')< >Système B (A"<->B" etA"-->B") 

Système A (A'<->B' et A'-->B')< >Système B (A"->B") 

Système A (A'<->B' et A'->B')< >Système B (A"<->B") 

Système A (A'<-->B' et A'->B')<— ->Système B (A"<~>B" et A"->B") 



Tableau 7. 1 : Types de relations interactives et d'interaction. 



À partir de ces relations, je propose l'application de ces mêmes principes relationnels aux 
différents éléments constitutifs d'un SMI, selon la description de Wanderley et Depalle. Ainsi, il 
deviendrait possible d'appliquer une relation qui serait : 

- Interactive entre un geste et un contrôleur gestuel. 

- Interactive entre un contrôleur gestuel et une mise en correspondance. 

- Interactive entre une mise en correspondance et un moteur de synthèse. 
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Je propose de faire la critique de chacun des quatre éléments suivants : le geste, le 
contrôleur gestuel, la mise en correspondance, et le moteur de synthèse qui participent au cadre 
macro formel des éléments descriptifs des SMI. Les éléments dits « macro » contiennent eux- 
mêmes des situations interactives ou d'interaction que nous définissons à un niveau micro. Ceci 
permet d'établir une multiplicité de couches et de niveaux d'interactivité ou d'interaction en 
relation aux quatre éléments précités. 

De la même manière, il serait possible d'obtenir des relations interactives entre les niveaux 
micro parmi les différents éléments descriptifs des SMI, ce qui rompe avec une idée hiérarchique 
dépassée. C'est ce qui permettrait, selon moi, de favoriser la structuration d'un réseau plus 
complexe (Figure 7.2). 



Relations du 
type marco entre 
les éléments 
descriptifs d'un 
SMI 




Figure 7.2 : Relations interactives entre les niveaux micro des éléments descriptifs des 

SMI. 
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Cette proposition, que j'ai schématisé dans la figure précédente, amène à la déduction que 
les systèmes musicaux interactifs s'apparente à un réseau d'objets et que leur fonctionnement est 
complexe, à l'intérieur même de leurs propres éléments constitutifs. Ce réseau n'est pas 
uniquement constitué de structures organisationnelles, sauf en ce qui concerne les réseaux 
temporels. Chaque niveau et chaque relation se déploient, en fait, selon différentes échelles 
temporelles très variées. Par exemple, le laps de temps, séparant le geste de l'utilisateur de la 
perception du résultat sonore, n'équivaut pas au temps nécessaire pour calculer les algorithmes 
générant la synthèse sonore. 

Un SMI qui est conçu à un niveau complexe suppose des évolutions temporelles dont les 
relations macro et micro évoluent et changent selon un axe temporel (t). Ces changements 
peuvent être configurés de plusieurs manières : stockés enpresets, automatiques, dépendants des 
paramètres captés en temps réel, etc.. 

Le schéma, proposé dans la figure 7.2, montre les quatre éléments constitutifs des SMI, 
que je nomme les éléments macro structurels. Selon ce schéma, ces quatre éléments peuvent 
entrer en relation entre eux, au moyen de relations interactives (indiquées par le symbole — >) 
ou d'interaction (indiquées par le symbole < — >). Par exemple, en ce qui concerne les deux 
premiers éléments constitutifs des SMI (les gestes et le contrôleur gestuel), nous pouvons 
imaginer un SMI permettant une captation du geste de l'utilisateur par un contrôleur gestuel, 
comme c'est généralement le cas. Mais, nous pouvons également concevoir un changement 
d'état ou de configuration du propre contrôleur, en fonction des gestes réalisés par l'utilisateur. 

Selon le même principe, diverses relations interactives ou d'interaction peuvent être 
imaginées entre les autres composants des SMI d'une part, le contrôleur gestuel et la mise en 
correspondance d'autre part, et enfin entre la mise en correspondance et le moteur sonore. 

Chacun des quatre éléments macro se compose à son tour d'éléments que je nomme micro. 
Ces micro éléments sont multiples et hétérogènes. 

Par exemple, le macro élément gestes contient plusieurs gestes réalisés sur un contrôleur : 
gestes de rotation, gestes de mouvement dans les différents axes de l'espace, gestes de pression, 
etc.. 
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Dans le macro élément du contrôleur gestuel, se trouvent les modules qui récupèrent les 
valeurs de captation des gestes, les modules de conversion et d'analyse des données, etc. 

Dans le macro élément de la mise en correspondance, nous pouvons trouver différentes 
mises en correspondance, qui constituent des blocs séparés à l'intérieur de ce même élément 
macro. 

Dans le macro élément de synthèse sonore, se situent les différentes sortes de traitements 
sonores, et à l'intérieur de ces derniers, les paramètres nécessaires à la génération et au 
traitement du son. 

On peut tracer ainsi de multiples correspondances entre ces éléments micro et tisser un 
réseau configurable et modifiable d'interactions et de relations interactives. 



7.2 Sur la compréhension des interactions, sur les niveaux de complexité et sur la 
distorsion 

Dans les pages précédentes, j'ai évoqué la nécessité que l'interactivité et l'interaction soient 
intelligibles tant par l'interprète que par les auditeurs (1). Ce type de compréhension 
phénoménale dépend en partie des réseaux d'objets créés entre les éléments constitutifs des SMI. 
Je propose d'établir une polarité entre les deux notions : interactivité et interaction de bas niveau, 
et interactivité et interaction de haut niveau. 

Une échelle intermédiaire très riche et relativement variée se situe entre ces deux pôles. 
L'utilisation de ces pôles dépendra du projet artistique qu'on cherche à réaliser. Les relations de 
bas niveau indiquent l'existence de réseaux dotés d'un faible degré de complexité, ainsi que de 
relations à tendance interactive, rapidement assimilables. En revanche, un haut niveau de 
complexité se caractérisera certainement par des relations d'interaction, qui vont créer un réseau 
plus complexe entre les différents éléments constitutifs des SMI, marqué par un aspect temporel 
évolutif (t). 



1. Beaudoin-Lafon, Michel. Moins d'interface pour plus d'interactions. Interfaces homme-machine et création musicale. Vinet, H., Delalande, F. 
(1999).. Hermès Science Publications, Paris, p. 137. 
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Par exemple, le projet EMSTI repose, de par sa nature, sur de nombreuses applications 
fondées sur des modèles généralement interactifs. Dans mes propositions personnelles, j'ai 
présenté, en revanche, un certain nombre de pièces réalisées avec des SMI, qui se caractérisent 
par des relations d'interaction et offrent donc davantage de complexité et de diversité. 

En conséquence, les relations, dites de haut niveau, sont créées par des réseaux imbriqués 
à différentes échelles, ce qui complexifie nettement l'organisation de celles-ci, en rendant la 
compréhension de l'interactivité ou de l'interaction plus délicate. Nous disposons ainsi d'un 
premier paramètre pour décrire la compréhension des SMI : la complexité. 

Le concept de « distorsion » apporte une solution efficace à la création de fluctuations 
entre ces deux pôles. 

Déjà évoqué dans les conclusions du chapitre 3.3, l'apport d'un niveau de distorsion 
permet de naviguer d'un état bas niveau vers un état haut niveau et inversement (Figure 7.3). 



index de « distorsion » 



Interactivité ou interaction de bas niveau < > Interactivité ou interaction d'haut niveau 



Figure 7.3 : Polarités entre bas niveau et haut niveau d'interactivité ou d'interaction. 

Je propose que cet index de distorsion affecte les relations existant entre les éléments micro 
de tout SMI. L'index de distorsion serait chargé d'augmenter ou de diminuer le nombre de 
relations interactives, et, par conséquent, le nombre de relations d'interaction existant entre les 
éléments macro et micro d'un SMI. 
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Un niveau de distorsion impliquerait que seules des relations interactives existent entre 
les éléments constitutifs des SMI. Au fur et à mesure qu'on augmente l'index de distorsion, on 
accroît en proportion les relations d'interaction entre les éléments macro et micro des SMI. 

Nous pouvons ainsi imaginer des valeurs intermédiaires entre une valeur absolue et une 
valeur maximale relative, qui dépendrait finalement des possibilités de chaque SMI. 



7. 3 La mise en correspondance 

La mise en correspondance est un des éléments macro qui constituent les SMI. J'ai décidé 
de l'aborder à part, car elle constitue, selon moi, une des parties les plus créatives, sinon la plus 
essentielle, de la conception des SMI. 

La programmation informatique, en tant qu'écriture de relations mises en jeu, associe 
variables externes - par exemple issues de la captation de gestes - et des paramètres de contrôle 
quelconques, par exemple de la synthèse sonore. 

Dans le chapitre précédent, les questions de mise en correspondance ont été abordées, la 
différence entre correspondance unitaire et directe ainsi qu'entre correspondance divergente ont 
été détaillées. 

Dans le but de concevoir un système musical interactif plus évolué, on peut également 
envisager un instrument doté d'une mise en correspondante dite « convergente » : un nombre 
quelconque de variables contrôlerait alors un seul paramètre global et multiforme, qui serait un 
meta paramètre. Cette idée est directement inspirée du modèle instrumental, c'est-à-dire de 
l'instrument mécanique. 

En effet, pour jouer par exemple une note au violon, il faut que convergent un certain 
nombre de gestes mécaniques et anatomiques, qui forment ce que l'on comprend comme un 
geste musical. Le concours de micro-gestes (précision de la position des doigts et de la fréquence 
produite lors la pression sur la corde) est simultané aux gestes macro que sont la position de la 
main gauche sur la touche, une vitesse déterminée du déplacement de la main, mais aussi la 
concordance et la coordination de la pression et de la vitesse de l'archet, de l'attaque et de la mise 
en vibration, de l'entretien du son. 
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Cette coordination exemplifïe la notion de méta-geste et de méta-contrôle. Les relations, 
dans une conception complexe d'un SMI, doivent être évolutives. 

Les changements et les variations des mises en correspondance, en fonction du temps, 
seraient une dimension qui déterminerait l'expressivité ou non d'un système. Ainsi, les mises en 
correspondance peuvent être présenté selon la figure suivante (Figure 7.4). 



Système A - Par exemple 
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Figure 7.4 : Exemple de relation entre deux systèmes dont les variables respectives se déterminent 
en fonction du type de mise en correspondance : unitaire, divergente ou convergente. 



L'utilisation de ces différents types de mise en correspondance, au sein d'un même SMI, 
oriente vers une mise en correspondance plus complexe, s'apparentant à la mise en 
correspondance multicouche énoncée par Kessous et présentée dans le premier chapitre de cette 
thèse. Celle-ci met en jeu plusieurs paramètres de contrôle intermédiaires, qui sont extraits de 
l'analyse du geste en fonction du contrôleur choisi. Ces données peuvent former différentes 
couches de contrôle et être utilisées pour établir diverses mises en correspondance entre elles, 
telles qu'exposées dans la figure 7.4. 
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7.4 Paradigmes de classification et SMI 

Selon Robert Rowe, la classification des SMI doit être envisagé en fonction de leur 
paradigme propre. Cette approche est utilisée à la fois pour la description de mes travaux sonores 
et musicaux, mais aussi pour la description des applications interactives du projet EMSTI. Ces 
descriptions obéissent à une échelle quantitative (de à 3) qui vient déterminer, par l'association 
de valeurs quantifiables, la place relative attribuée à un SMI selon trois types de polarisations : 

. Score-driven Systems = < > Performance-driven Systems = 1 

. Entre réponse changeante, générative = 1 < > réponse répétitive = 

. Entre instrument = < > interprète = 1 



La somme des valeurs obtenues, à partir des paradigmes de classification, détermine un 
niveau quantifiable de la notion d'interaction associée à un système. Si la somme des valeurs 
obtenues est égale à 0, il s'agit alors d'un niveau bas d'interaction ou d'interactivité, sachant que 
le modèle aura tendance à se rapprocher davantage de celui d'interactivité. Si la somme est égale 
à 3, il s'agit d'un haut niveau d'interaction. Entre ces deux pôles, n'importe quelle position est 
quantifiable. 

Par exemple, dans le cas de la pièce Intersection Boule- Wav 2.0, exposée dans la deuxième 
partie de cette thèse, le SMI a été décrit ainsi : 

Modèle performance-driven Systems = 1 point 
Modèle de réponse changeante, générative = 1 point 

Modèle instrument = point 

Nous pouvons conclure que cette pièce obtient 2 points sur 3. 
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Autre exemple, la pièce Tôt pixelant : 
Modèle score-driven Systems = point 
Modèle réponse répétitive = point 

Modèle instrument = point 



Nous pouvons conclure que cette pièce obtient point sur 3. 

La comparaison des résultats, obtenus pour les deux pièces précédentes, permet d'affirmer 
que le SMI de la pièce Intersection Boule- Wav 2.0 est plus complexe que celui de Tôt pixlenat. 
Le SMI d'Intersection Boule- Wav 2.0 repose donc sur un modèle proche de l'interaction alors que 
Tôt pixelant s'avoisine à des modèles interactifs. 

Le modèle d'analyse et de conception des SMI, proposé au cours de ce septième chapitre, 
provient de la réflexion théorique, mais aussi des exemples et des travaux personnels, exposés 
jusqu'à présent dans cette thèse. Aucun des SMI, présentés dans les propositions personnelles ou 
dans le projet EMSTI, n'a été intégralement conçu à partir des éléments d'analyse et des 
quantifications proposées dans ce septième chapitre. La création de SMI, reposant sur cette 
nouvelle conception, pourrait donc s'avérer d'un grand intérêt, afin de développer les possibilités 
réelles résidant dans cette proposition d'analyse. Le modèle avancé pourrait ainsi servir à la 
conception de futurs SMI. 
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Conclusions du travail de thèse doctorale 

Les systèmes musicaux interactifs et la création sonore et musicale, telle est la conclusion 
finale du présent travail de thèse. Me plaçant à la fois dans une optique de chercheur, d'artiste 
sonore et de compositeur, j'ai donné pour finalité à cette recherche l'exploration de chemins, 
conduisant à une meilleure compréhension du potentiel créatif que recèle le monde des sons et 
des musiques d'aujourd'hui. Ce trait est particulièrement significatif lorsque l'on considère 
l'implication des nouvelles technologies dans ma pratique artistique. Il s'agit de proposer, au 
travers d'expériences sensibles, une approche de la pratique compositionnelle, à même 
d'interroger le potentiel expressif des technologies appliquées à la musique. Ces expériences, qui 
allient art et sciences, ont, par ailleurs, de nombreuses implications cognitives et trouvent leur 
justification dans des réflexions préalables et des proposition esthétiques. 

Chaque partie et chapitre de cette thèse est pourvu d'une conclusion. Une conclusion 
finale, s'inscrivant dans la continuité des précédentes conclusions, s'impose donc pour clore ce 
travail. Je recommande vivement, en ce sens, une relecture des conclusions exposées dans les 
chapitres suivants : 1.6, 2.5, 3.3, 4.10 et 6. 

Mes propositions artistiques, le projet EMSTI (Environnement Multisensoriel 
Thérapeutique Interactif) ainsi que les diverses conclusions antérieures ont permis d'articuler 
progressivement une pensée, qui va répondre aux nombreuses questions évoquées, notamment au 
cours de la problématique exposée dans l'introduction. 

La première partie illustre l'existence d'une réflexion théorique, soulignant le rôle 
indispensable des nouvelles technologies et des SMI dans la création musicale actuelle, dans 
l'optique d'une recherche sonore et musicale innovatrice, voire d'une esthétique posant de 
nouvelles questions au niveau créatif. La réflexion sur les SMI, ainsi que sur les éléments les 
constituant, questionne les modalités de construction des relations interactives et d'interaction, 
grâce a l'idée de réseau d'objets. La seconde partie, plus pratique, aborde la création de pièces 
avec des SMI, afin d'apporter des éléments de réponse aux questions théoriques exposées dans la 
première partie à propos des SMI. La troisième partie décrit un projet très spécifique, le projet 
EMSTI, en ce qu'il conçoit des applications et des SMI, améliorant la qualité de vie de personnes 
atteintes d'un handicap cérébral très profond. Finalement, et pour conclure cette thèse, je propose 
un modèle de conception et d'analyse des SMI, nourri des réflexions et des pratiques que j'ai 
mené avec ces systèmes. 
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Je constate, par ailleurs, la difficulté à se munir d'outils d'analyse et de réflexion, vis-à-vis 
d'un domaine de recherche actuellement en cours de construction et de définition. 

Nous ne disposons pas, pour l'instant, d'un recul temporel, à même d'offrir une perspective 
historique suffisamment claire, rendant compte des changements induits par l'introduction des 
nouvelles technologies dans le domaine musical. De même, les résultats potentiels, au niveau de 
l'expression artistique, sont encore difficiles à évaluer sérieusement. 

Que restera-t-il de cette époque technologique pour l'art ? Cette fascinante période de 
développement artistique se caractérisera-t-elle par le phénomène des flux d'information 
organisés en réseau? 



Bilan 



. Dans l'introduction, j'ai tout d'abord défendu mon approche personnelle de la recherche, 
faisant une part égale à la pratique et à la théorie dans la structuration de ma démarche 
intellectuelle. Ma recherche avance donc en s'appuyant sur deux piliers ; cette thèse se veut le vif 
reflet d'une telle méthode. Une première approche du concept d'interactivité a été abordée, au 
cours de cette introduction, à partir des travaux de Vincent Maibillot, donnant ainsi une première 
définition à un concept omniprésent par la suite tout au long de la thèse. Ce concept a été 
postérieurement développé au cours des différentes parties. Ce concept nous a aidé dans la 
construction d'un modèle de recherche, à même de faire dialoguer les trois fondements de cette 
thèse : les SMI (Systèmes Musicaux Interactifs), les projets artistiques personnels, et le projet 
EMSTI. 

. Dans la première partie, j'ai abordé les questions théoriques concernant les nouvelles 
technologies musicales. J'ai défendu l'idée que les nouvelles technologies sont des outils 
incontournables, s'imposant comme une réalité inhérente à la création d'aujourd'hui. Grâce à la 
puissance des ordinateurs et des récents protocoles de communication, tel que le protocole MIDI, 
nous avons assisté à l'apparition de nouvelles technologies musicales, et notamment des SMI. 
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Les nouvelles technologies ont contribué à modifier notre conception des éléments 
structurant notre appareil perceptif, ce qui a induit également une transformation des valeurs 
esthétiques. Les ordinateurs permettent en effet une approche de la création musicale, fondée sur 
l'immédiateté de la relation entre action et perception. 

Grâce à ces nouvelles technologies, chacun a maintenant la possibilité de construire ses 
propres instruments, élaborés au moyen des outils mis à disposition. À l'image d'un réseau, les 
environnements informatiques sont, par définition, programmables, configurables et modulables, 
à partir de modes de représentation symboliques et sub-symboliques. 

Je pense, par ailleurs, qu'aucune limitation particulière ne vient brider l'expression de la 
pensée. Car, au-delà des contraintes imposées par chaque technologie ou environnement 
spécifique, l'attitude artistique détermine sa propre pertinence : c'est cette attitude, 
exclusivement, qui va permettre la mise en place du processus créateur. 

Il a été évoqué dans cette thèse que seule une attitude expérimentale peut conférer à l'usage 
des nouvelles technologies une réelle signification. C'est cette disposition de l'artiste qui va faire 
sens. 

Les nouvelles technologies ne sauraient être une entité totalement autonome, qui 
imposerait une quelconque réalité artistique au créateur. C'est l'artiste qui définit en premier lieu 
le devenir de ces outils technologiques. Il ne faudrait pas se méprendre sur la question ; c'est 
bien la pensée qui forgera ces outils et définira, au final, les manières de s'en servir, que ces 
dernières aient été anticipées ou non. Ainsi, j'ai proposé un modèle d'interaction entre l'artiste, les 
nouvelles technologies et le groupe science-technologie-art, comme fondement de ma recherche 
et de ma conception de la création. 

Toujours dans cette première partie, un aspect très concret des nouvelles technologies, les 
SMI, a offert un prolongement à cette recherche. J'ai abordé des questions d'évolution historique, 
concernant le besoin de créer et de contrôler des outils musicaux expressifs, du Mélographe aux 
actuels SMI. Les éléments constitutifs des SMI ont été également largement décrits (la captation 
du geste, les contrôleurs, la mise en correspondance et la production sonore). Six questions 
fondamentales, autour des SMI, ont ensuite structuré le discours théorique sur une pensée 
relative aux SMI : Existe-t-il une relation esthétique particulière entre interactivité et genre 
musical? Peut-on faire la distinction entre interactivité et interaction musicale ? 
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Qu'est-ce qui différencie les instruments musicaux numériques des instruments traditionnels sur 
le plan de leur opérabilité? Que peut-on dire du concept de l'ultramédia à partir de la notion de 
SMI? Comment définir les paradigmes et les modèles de classification des SMI ? Comment aller 
dans le sens d'une interaction sonore toujours plus compréhensible? 

La définition des concepts d'interaction et d'interactivité est l'un des sujets centraux de mon 
développement. Cette distinction est fondamentale pour comprendre les différents types de 
relations possibles entre des systèmes fondés sur une communication de type unidirectionnelle 
ou bidirectionnelle. Elle permet de créer des SMI plus ou moins complexes et expressifs. 

Ces six questions ont engendré, à leur tour, d'autres interrogations fondamentales, 
concernant, par exemple, la possible émergence, grâce au concours des nouvelles technologies, 
d'une nouvelle musique dotée de ses propres caractéristiques. À vrai dire, cette nouvelle musique 
a déjà fait son apparition, et ce, depuis l'avènement de l'ordinateur. 

Un modèle fonctionnel de conception des SMI a été défendu par la suite, à partir de la 
notion de réseau d'objets hétérogènes, composables et configurables. Ce modèle dépasse la 
conception peu fonctionnelle, proposée par Cadoz et Barbanti sur les SMI. On notera que la 
notion de réseau d'objets symboliques et sub métaboliques, définie par Horacio Vaggione, m'a 
aidé à tisser cette nouvelle conception des SMI. 

Modifiant profondément notre approche de la création, les SMI vont immédiatement 
confronter l'artiste à un certain nombre de questions, au sujet de leur utilisation. L'utilisation des 
SMI concernent directement les relations entre le matériau sonore, les gestes et les 
représentations temporelles. Les questionnements en conséquence vont inclure divers sujets : de 
l'organisation des structures musicales à la façon d'imaginer le concert dans des réalisations 
variées, en passant par la production du matériau sonore (objets sonores informatiques), l'écoute 
en général, les représentations musicales, la lutherie de nouveaux instruments ainsi que les rôles 
respectivement déterminants de l'interprète, du compositeur et du compositeur/interprète de sa 
propre musique. 

Avec les SMI, l'artiste définit ses outils et crée, en quelque sorte, son propre instrument en 
vue de nous faire partager une expérience sensible. La création sonore et musicale est pensée 
comme une technologie en réseau aux points de convergence entre science et art. 
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. Dans la deuxième partie, j'ai analysé l'ensemble de mes pièces, qui comportent des SMI. 
J'ai structuré cette analyse à partir des questions, exposées dans la première partie de cette thèse. 
Ces questions m'ont aidé à répondre partiellement aux problématiques posées par la conception 
des SMI. Les différentes pièces ont été analysées à partir de la description des éléments 
constitutifs des SMI. 

Ainsi, j'ai pu constater que les rôles respectifs de l'interprète et du compositeur peuvent se 
modifier face à des pièces impliquant des SMI. La notion de partition peut s'élargir, allant 
jusqu'à générer de nouvelles musiques et formes d'écriture musicale, comme il a été démontré 
dans le cas des SMI qui gênèrent en temps réel des partitions ou des indications pour l'interprète. 
J'ai proposé le concept de partition du SMI. Ce concept acquiert un sens dépassant l'acception 
conventionnelle d'une partition. La partition d'un SMI devient l'ensemble des possibilités 
d'articulation sonore et musicale, caractérisant une pièce et la rendant, par la même, identifiable. 

Le rôle du public va, lui aussi, se démarquer de celui caractérisant la situation 
traditionnelle de concert. Les installations sonores vont rendre possible un rôle actif et 
participatif. J'ai abordé la question de l'écoute, en la considérant en tant que compréhension du 
résultat sonore perçu, en fonction de l'interaction proposée par l'artiste. La question de la 
compréhension de l'interaction est un sujet hautement caractéristique de la musique composée à 
l'aide de SMI. 

Je conclus ici en réaffirmant que les SMI doivent être conçus comme un ensemble 
hétérogène d'éléments de nature différente mis en relation, qui participe à la structuration de 
niveaux temporels distincts liés par une profonde interaction. L'ensemble des composants 
devient une entité complexe, caractérisée par les relations internes d'un réseau dynamique, 
évoluant donc dans le temps. 



. Dans la troisième partie, j'ai traité d'un projet en particulier. Il ne faudrait pas omettre que 
l'artiste contemporain a la possibilité d'interagir avec plusieurs domaines, dont l'action répond à 
des besoins et des particularités spécifiques. À titre d'exemple, on citera de nouveau le projet 
EMSTI (Environnement Multisensoriel Thérapeutique Interactif). 
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Dans cette troisième partie de la thèse, j'ai abordé l'état de l'art des proposition interactives 
élaborées pour des personnes atteintes de paralysie cérébrale ou d'autisme, mentionnant, par 
exemple, les projets SoundBeam et Médiate. La majorité de ces projets sont des applications 
d'utilisation des SMI conçues pour l'individu. Le projet français Bao-Pao est, quant à lui, pensé 
du point de vue du jeu collectif. J'ai donc étudié, dans l'état de l'art, les outils technologiques 
proposés par ces projets, outils de caractère non intrusif, tels que la captation du geste au moyen 
d'ultrasons, de la caméra et du microphone. 

Par la suite, j'ai étudié les contenus sonores avancés par ces projets, afin de comprendre 
quels sont les matériaux sonores utilisés pour interagir avec l'utilisateur. Les conclusions ont été 
plutôt décevantes, considérant que la plupart des contenus sonores ont été choisis sans véritable 
critère scientifique ou artistique. La plupart de ces projets utilisent des propositions artistiques 
s'apparentant à la représentation et à la figuration, au lieu de se placer dans la perspective plus 
innovatrice de la recherche sonore et musicale ; celle-ci, selon moi, stimulerait davantage 
l'utilisateur de ces systèmes. 

Puis, j'ai exposé le projet EMSTI, en expliquant notamment qu'un de ses objectifs était 
l'élaboration de diverses applications interactives, utilisant des systèmes de captation du geste 
non intrusifs, à l'image de la caméra web, développée par l'informaticien César Mauri, et d'autres 
systèmes adaptés aux possibilités de contrôle des utilisateurs (plaque sensible, microphone, 
télécommande de la Wii, objet communicant, etc..) 

J'ai mené ensuite une réflexion sur les contenus sonores, à même d'être utilisés dans le 
projet EMSTI, en faisant preuve non seulement d'un point de vue artistique, mais aussi d'un point 
de vue fondé sur des conceptions argumentées, telles que la recherche en musicothérapie de 
Rolando Benezon, les Unités Sémiotiques Temporelles de Marseille et la Biosémiotique. Ce 
cadre théorique m'a permis de créer un certain nombre d'exemples de contenus sonores. 

J'ai exposé également le développement de plusieurs applications interactives ludiques, qui 
proposent principalement des relations de type interactif et non d'interaction. J'ai décrit les 
différentes activités autour de cinq sujets : spatialisation sonore ou perception de l'écoute 
égocentrique, le jeu, autour de la perception et de la conscience de soi, l'objet communicant et le 
corps comme instrument. 
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Les limitations cognitives des utilisateurs ont constamment guidé la création de ces 
activités. Un des principaux objectifs de ce projet était de faire ressentir et de faire comprendre 
aux utilisateurs la relation interactive d'action - perception et de cause à effet. 

Cette partie sur le projet EMSTI s'est achevée par le constat d'une certaine incapacité, en ce 
qui concerne l'évaluation de l'efficacité de ces activités et applications, programmées avec des 
environnements de programmation Pure Data et Max/MSP. Cette incapacité est due au manque 
de ressources, principalement au niveau humain, en raison d'une carence de personnel qualifié, à 
même d'analyser les résultats. Il faut ajouter à cela la difficulté d'apprentissage à laquelle sont 
exposés ces mêmes éducateurs du centre de paralysie cérébrale, au cours de l'utilisation des 
applications et de la conception d'interactions artistiques sortant des modèles conventionnels de 
représentation. 



. J'ai fait enfin une proposition au sujet de la conception des SMI, qui nous aidera à les 
concevoir mais aussi à les analyser. Cette proposition s'articule autour de l'idée que des relations 
d'interaction et d'interactivité peuvent être créées entres les différents composants macro et micro 
des SMI. Cette approche nous permet de construire un réseau de relations idéales entre 
l'ensemble des composants des SMI. Ce réseau pourrait être plus ou moins complexe, en 
fonction de l'application d'un index de distorsion. Celui-ci pourrait être chargé d'augmenter ou 
de diminuer le nombre de relations interactives et d'interaction, existant entre les éléments macro 
et micro des SMI. 

J'ai abordé également le sujet de la mise en correspondance car celle-ci est un des éléments 
macro les plus créatifs des SMI. J'ai proposé une mise en correspondance à partir de la notion de 
mise en correspondante multicouche, proposée par Kessous, pour laquelle il existe plusieurs 
paramètres intermédiaires de contrôle, extraits de l'analyse du geste en fonction du contrôleur 
choisi. Ces données peuvent former différentes couches de contrôle et être utilisées pour établir 
la mise en correspondance (qu'elle soit unitaire, divergente ou convergente). 

Pour terminer, j'ai effectué une classification des SMI, à partir d'une perspective 
quantitative. Celle-ci nous permet de déterminer sur quel modèle repose un SMI, et s'il se 
rapproche davantage de l'interactivité que de l'interaction. 
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Perspectives théoriques et pratiques : 

Les perspectives envisagées, en vue de futures recherches, concernent autant la réflexion 
théorique que la pratique artistique. L'expérience atteste qu'il faut persévérer sur la voie de la 
réalisation de pièces sonores et musicales interactives, et ce, dans divers contextes. 

L'attitude expérimentale doit primer lors du processus de création à l'aide d'outils 
technologiques, rendant ceux-ci expressifs. L'appréhension de ces outils dérive du corps 
théorique, explicité dans les conclusions des paragraphes antérieurs. 

L'ensemble de cette recherche se focalise autour de l'architecture de programmation 
informatique, façonnée par le projet musical. 

Dans cette thèse, j'ai fait part de la difficulté rencontrée au cours de la programmation 
d'outils interactifs, par exemple dans le cas d'un environnement de programmation orienté-objets, 
tel que Max/MSP ou Pure Data. 

Cette tâche exige de consacrer beaucoup de temps à l'écriture informatique et requiert un 
certain nombre de tests significatifs. 

Grâce à l'expérience accumulée en la matière, on a pu cependant constater qu'une 
architecture interne efficace offre un éventail de possibilités plus large. 

L'évaluation des résultats artistiques gagne en intérêt et pertinence, lorsque l'outil construit 
est flexible et permet, par exemple, la comparaison entre plusieurs mises en correspondances 
différentes. 

Il faut rappeler que le recours aux nouvelles technologies consiste en un effet de retour 
(feedback) entre action et perception. L'architecture interne, dans la conception des SMI, permet 
l'expérimentation et engendre une plus grande liberté d'action. La rigidité excessive de certains 
SMI, présentés dans ce travail de thèse, me conduit à orienter mon futur travail dans une 
direction offrant une plus grande flexibilité. 
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Figure 3.10 : Partition graphique de la guitare électrique avec les commentaires sur les gestes et les 
modes de production sonore à réaliser. 

Figure 3.11: Schéma du dispositif. 

Figure 3.12 : Interface graphique du patch qui traite l'information. 

Figure 3.13 : Sub-patch qui permet la récupération des données d'amplitude sonore provenant du 
microphone. 

Figure 3.14 : Fenêtre du logicielle mViaCam par laquelle le surveillant peut visualiser le 
mouvement et la captation du geste de la main qui soutient l'archet du violoncelle. 

Figure 3.15 : Subpatch qui permet de récupérer et de comprendre les données provenant du 
logicielle mViaCam. Position et vitesse du mouvement de la main de l'archet dans les axes 
cartésiennes X et Y. 

Figure 3.16 : Le surveillant et son dispositif informatique. L'information audio et gestuelle du 
violoncelle servent à produire la musique électronique. 

Figure 3.17 : Section 1 

Figure 3.18: Section 2 
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Figure 3.19: Section 3 

Figure 3.20 : Section 4 

Figure 3.21 : Section 5 

Figure 3.22 : L'instrumentiste doit choisir l'ordre des fragments devant être joués et les enchaînes, 
tout en explorant le rapport entre son geste qui résulte de dynamiques variées. Le résultat sonore 
conditionne la partie électroacoustique. 

Figure 3.23 : Une première personne a pour fonction la production sonore et une seconde personne 
a pour fonction la réalisation de la partie visuelle à partir des transferts de données 
audionumériques. 

Figure 3.24 : Interface graphique du patch qui permet de créer les fichiers audio servant pour la 
pièce de concert. 

Figure 3.25 : Interface graphique de Densités. Cette interface nous permet de charger les sons et de 
visualiser chacune des huit sorties. 

Figure 3.26 : Ci-dessus, un sub-patch qui permet de déclencher de façon aléatoire chacun des 
fichiers audio. 

Figure 3.27 : Sub-patch qui calcul une valeur d'étirement ou de compression temporelle pour 
chacun des contenus audio. 

Figure 3.28 : Interface graphique pour visualiser les éléments interactifs mis en jeu à partir du 
clavier-contrôleur MIDI. 

Figure 3.29 : Ci-dessus, contrôle des variables assignées au traitement de l'image en temps réel en 
utilisant les environnements Max/MSP et Pure Data. 

Figure 3.30 : Quelques-uns des petits haut-parleurs, placés dans la salle. 

Figure 3.3 1 : Le patch ci-dessus permet le contrôle du gain en entrée. 

Figure 3.32 : Chaque instrument est amplifié en vue d'un mixage avec la source en entrée. 

Figure 3.33 : L'objet [analyser'] récupère le son en entrée et il retourne les valeurs MIDI à l'un des 
quatre groupes. 
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Figure 3.34 : Ici on choisit les valeurs MIDI qui vont déclencher un signal sonore à destination de 
chaque instrumentiste. 

Figure 3.35 : Sub-patch du SMI qui permet le contrôle de l'amplitude en entrée. 

Figure 3.36 : Partition graphique avec les quatre bandes de fréquence et amplitude que chaque 
musicien doit jouer. 

Figure 3.37 : Schéma de l'installation. 

Figure 3.38: Le bang de couleur jaune nous indique que le SMI à détecté un attaque du piano. 

Figure 3.39: Les valeurs MIDI correspondants à des hauteurs sont récupérées et envoyées vers le 
registre de fréquences correspondantes. 

Figure 3.40: Partition graphique avec les quatre franges d'impulsions sonores selon l'analyse de 
fréquences. 

Figure 3.41: Le premier groupe instrumental joue une partition avec notation graphique 
conventionnelle. 

Figure 3.42 : Fragment de la partition graphique interprétée par le deuxième groupe instrumental. 

Figure 3.43 : Partition graphique produite, pour le deuxième groupe instrumental, par un patch 
Max/MSP à partir de l'analyse de plusieurs fichiers audio qui sont joués, en temps réel, dans la 
partie électronique. 

Figure 3.44 : Instrumentistes avec auriculaires. 

Figure 3.45 : Le patch ci-dessus montre trois parties distinctes qui correspondent aux trois parties 
formelles de la pièce. Un assistant musical prend soin de charger les fichiers son qui devront être 
appelés ultérieurement. La partie centrale de l'interface (section2) permet le déclenchement des 
fichiers audio qui seront assignés simultanément aux instrumentistes dans l'intention de créer un 
effet de synchronie. 

Figure 3.46 : Les quatre interprètes ainsi qu'un assistant musical (moi-même) pour le contrôle du 
SMI lors de l'envoi de fichiers audio, contribuant ainsi aux actions entreprises et aux décisions 
musicales. 

Figure 3.47: L'interprète devant la partition et le système de captation du son. 
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Figure 3.48: Dans le subpatch ci-dessus, un sélecteur permet l'activation consécutive ou simultanée 
de messages qui déclenchent la lecture des échantillons sonores correspondants. 

Figure 3.49 : Lignes de retard avec changement du pitch. 

Figure 3.50 : Sub-patch renoiser 

Figure 3.51 : Synthèse granulaire crée au CICM de l'Université Paris 8. 

Figure 3.52 : Délais avec changement linéal du «pitch» à chaque répétition du délai. 

Figure 3.53 : Partition du saxophone. 

Figure 3.54 : Interface graphique qui permet à l'interprète du SMI, placé devant l'ordinateur, de 
visualiser les accès dont celui qui permet l'activation de l'enregistrement du son ou de sa 
reproduction. 

Figure 3.55 : Partition avec les indications de Record et On - Off. 

Figure 3.56 : Partition originale de Wetback avec plusieurs formants en le l'OO" et le 3'00". 

Figure 3.57 : Patch Max/MSP de la pièce Deux Poissons Japonais Acousmatiques . 

Figure 3.58 : Patch Reaktor de la pièce Deux Poissons Japonais Acousmatiques. 

Figure 3.59 : Patch de Càlida Construccio avec les valeurs de traitements. 

Figure 3.60: Clavier-contrôleur MIDI. 

Figure 3.61 : Peinture d'Araceli Rubi. 

Figure 3.62 : SAMPLER-WAV. 

Figure 3.63 : Patch Max/MSP pour la génération de données. 

Figure 3.64 : L'application Cubase permet de récupérer les données qui proviennent du patch 
Max/MSP et de les visualiser. 

Figure 3.65 : Boule-Wav 2.0 

Figure 3.66 : Boiter avec le circuit. 

Figure 3.67 : Interface graphique permettant de visualiser les contrôleurs de volume et les données 
qui proviennent des capteurs. 
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Figure 3.68 : La boule avec les capteurs de pression, la tube et le microphone à l'intérieur. 

Figure 3.69 : Modélisation de la demi-sphère dans l'environnement logiciel Modalys. 

Figure 3.70 : Interpolation entre deux configurations de spatialisation de l'électronique. 

Figure 3.71 : Vision de l'installation sonore dans l'église à Horta de Sant Joan (Espagne). 

Figure 3.72 : Un clavier MIDI remplace les tubes contrôleurs pour la musique électronique. 

Figure 3.73 : Le patch Max/MSP ci-dessus sert à la production des fichiers audio utilisés en concert. 

Figure 3.74: Interface graphique au patch Max/MSP. Nous pouvons visualiser les données que les 

capteurs reçoivent. 

Figure 3.75 : Capteur lumière à l'intérieur du tube. 

Figure 3.76 : Le sub-patch reçoit les variations de lumière produites par les gestes de la main. 

Figure 3.77 : Mains qui s'élèvent au-dessus des tubes. 

Figure 3.78 : Sub-patch qui récupère les valeurs du clavier-contrôleur MIDI 

Figure 3.79 : Sub-patch qui contient une fonction aléatoire [random]. 

Figure 3.80 : Partition graphique utilisée pendant l'interaction avec l'installation ou pendant le jeu 
gestuel de la version avec clavier-contrôleur MIDI. 

Figure 3.81 : Depuis l'ordinateur nous avons un contrôle sur les données en entrée provenant de 
variations subites par les capteurs. Ces donnés vont être traitées en temps réel. 

Figure 3.82 : Interface graphique permettant la manipulation d'effets. L'entrée des données peut être 
verrouillé depuis cette interface. 

Figure 3.83 : Sur chacun des deux panneaux ou plaques un capteur de lumière permet la 
récupération des valeurs liées aux variations luminosité. Celles-ci fluctuent en fonction de la 
position de la danseuse qui interfère entre les sources lumineuses de la salle et les capteurs. 

Figure 3.84 : Une plaque de pression disposée sous les coussins permet à la danseuse d'agir sur 
ceux-ci tout en étant débout ou directement à terre. 

Figure 3.85 : Le cube noir posé au sol est déplacé à l'aide des pieds ou des mains par la danseuse. 
En déplaçant cette boîte, c'est la souris qui est actionnée. 
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Figure 3.86 : Cette interface permet le chargement de l'ensemble des six catégories de sons. 

Figure 3.87 : Le mixage entre les plusieurs échos, avec changement de pitch du son FM original, est 
réalisé en temps réel par des calculs de type random. 

Figure 3.88 : Trois tableaux : rouge, bleu, jaune. 

Figure 3.89 : On commence à cacher la lame de couleur. C'est l'indication graphique qui donne 

l'information nécessaire pour que le son simple devienne plus complexe, mobile et dense. 

Figure 3.90 : L'interface du patch Max/Msp permet à l'assistant informatique de régler l'entrée et 
sortie du son du basson et ainsi contrôler le mixage entre la partie instrumentale et l'électronique. 

Figure 3.91 : Schéma descriptif du système électroacoustique. 

Figure 3.92 : Ici, le basson est capté par deux microphones et l'assistant musical improvise avec le 
patch Max/MSP Lloop. 

Figure 3.93 : Le rectangle gris (en haut à droite) représente un accès aux données dont les valeurs 
sont contrôlées avec le clavier MIDI. 

Figure 3.94 : Interface de traitement sonore (patch Max/MSP) qui permet de sélectionner toute 
configuration préétablie (preset) de la partition. 

Figure 3.95 : Patch Lloopp. 

Figure 3.96 : Sub-patch qui permet la distribution de bang (impulsions) en suivant l'incrémentation 
numérique (active et désactive les sons). 

Figure 3.97 : Les numéros correspondent aux interventions de l'instrumentiste à la'aide de la pédale 
MIDI. 

Figure 3.98 : Ci-dessus, la partition utilisée conjointement avec le patch Lloop. Certaines 
indications relatives au déroulement de la pièce y figurent, ainsi que le type de morphologies à 
réaliser à chaque section. 

Figure 3.99 : L'extrait ci-dessus (section 4) montre une réduction des contraintes puisque seules les 
indications relatives aux notes et aux effets instrumentaux subsistent, tandis que les occurrences et 
les durées restent soumises à l'action de l'instrumentiste en fonction d'une écoute globale de la 
pièce. 
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Figure 3.100 : Instruments à percussion utilisés. 

Figure 3.101: Patch programmé sous Pure Data permettant la récupération d'une information sur la 
position (x,y, z). Le carré blanc informe du suivi de position de la personne en face de la caméra. 

Figure 3.102: Possibilités multiples de relations entre valeurs de contrôle physiques et les valeurs du 
contrôle du moteur. 

Figure 3.103 : Interface graphique où l'on visualise l'interaction gestuelle. 

Figure 4.1 : Vue de l'espace physique de MEDIATE. 

Figure 4.2 : Vue panoramique à l'intérieur de l'installation MEDIATE. 

Figure 4.3 : Prototype du système Intellivision, utilisé par une personne atteinte de paralysie 
cérébrale. 

Figure 4.4 : Visual Musical Instrument (VMI) 

Figure 4.5 : Adaptative Use Musical Instruments. 

Figure 4.6 : Volume "sensible" du dispositif Dimension Beam 

Figure 4.8 : Technique MHI 

Figure 4.9 : Dispositif Tune Fork (diapason). Projet MEDIATE. 

Figure 4.10 : Le BAO-PAO composé de 4 arcs métalliques possédant un laser intégré. 

Figure 4.11 : Éléments constituant le Bao-Pao. 

Figure 5.1 : Composants du système idéal que nous nous sommes proposés pour le projet EMSTI. 

Figure 5.2 : Interaction avec le microphone. 

Figure 5.3 : analyzer- , objet créé par Tristan Jehan. 

Figure 5.4 : Objet fiddle- conçu par Miller Puckette 

Figure 5.5 : mViaCam. 
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Figure 5.6 : Patch Max/MSP qui permet de récupérer sur Max/MSP les données qui proviennent du 
logiciel mViaCam. 

Figure 5.7 : Plaque de pression. 

Figure 5.8 : Max/MSP permet de recevoir ces valeurs de la plaque de pression pour les utiliser 
comme paramètres de contrôle. 

Figure 5.9 : La télécommande de la Wii. 

Figure 5.10 : Patch aka.wiiremote de Masayuki Akamatsu. 

Figure 5.11 : Le cube montré sous un angle permettant de distinguer deux différents types de reliefs. 

Figure 5.12 : Sub-patch Max/MSP contenant les différents traitements sonores que j'utilise dans mes 
projets artistiques et qui ont aussi servi à créer les différends moteurs du projet EMSTI. 

Figure 5.13 : Patch Max/MSP montrant l'évolution du mouvement corporel dans les axes X et Y de 
manière indépendante. 

Figure 5.14 : Carré montrant la position de l'utilisateur en temps réel. 

Figure 5.15 : Plaque sensible envoyant les valeurs de pression de l'utilisateur dans un espace 
cartésien. 

Figure 5.16 : Patch Max/Msp permettant de visualiser l'ensemble des données. 

Figure 5.17 : Interface graphique du patch Max/MSP permettant à l'éducateur de visualiser l'activité 

réalisée sur la télécommande de la Wii. 

Figure 5.18 : Moteur du SMI avec les fichiers audio qui pouvant être chargés et les objets Max/MSP 
de l'algorithme de traitement sonore de la synthèse granulaire. 

Figure 5.19 : Sub-patch montrant les relations existants entre les valeurs provenant du geste et celles 
qui doivent être envoyées au moteur. 

Figure 5.20 : Sub-patches qui contiennent la captation du geste et sont en relation entre eux. 

Figure 5.21 : Interface graphique du patch permettant à l'éducateur de sélectionner les degrés de 
complexité proposés lorsque l'enfant interagit avec l'activité. 
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Figure 5.22 : Interface graphique du patch Max/MSP qui permet de sélectionner toutes les 
possibilités de contrôle et de synthèse du SMI. 

Figure 5.23 : Sub-patch qui permet de charger des séquences sonores qui seront manipulées en 

temps réel grâce au mouvement corporel. 

Figure 5.24 : Sub-patch qui permet d'activer et de manipuler en temps réel la synthèse FM au 

moyen du mouvement corporel. 

Figure 5.25 : Sub-patch qui permet de charger les séquences et d'activer les traitements sonores de 

la voix. 

Figure 5.26 : Sub patch permettant de sélectionner les valeurs de contrôle qui seront associées aux 

valeurs de synthèse. 

Figure 5.27 : Sub-patch qui permet de configurer les valeurs de contrôle, qui seront associées aux 

valeurs de synthèse sonore, au cours d'une interaction selon le mode de fonctionnement 

«installation sonore» pendant une durée déterminée d'environ dix minutes. 

Figure 5.28 : Continuation du patch présenté à la Figure 5.27 

Figure 5.29 : Sub-patch permettant de charger les sons et de configurer la sensibilité et le temps de 

réponse du système en fonction des attaques réalisées par la voix. 

Figure 5.30 : Ce sub-patch permet d'enregistrer la première émission vocale et de la stocker. 

Figure 5.31 : Sub-patch qui permet de charger et de sélectionner les sons et les séquences sonores. 

Figure 5.32 : Patch Max/MSP qui permet de sélectionner les activités proposées avec ce module 

interactif. 

Figure 5.33 : Sub-patch qui permet de sélectionner le traitement et le degré de distorsion de 

l'émission vocale selon une échelle allant d'un traitement faible (1) à un traitement plus prononcé 

(10). 

Figure 5.34 : Sub-patch contenant tous les traitements ainsi que les presets qui déterminent la 

configuration de chaque traitement pour chaque degré de l'échelle. 

Figure 5.35 : Interface graphique présentant l'ensemble des différents sliders de contrôle. 

Figure 5.36 : Boutons de l'interface graphique servant à sélectionner le type de traitement sonore 

appliqué à la voix. 

Figure 5.37 : Échelle graduelle de traitement; échelle qui permet de mixer le son traité avec la 

source sonore; delay entre l'émission vocale ou source et la réponse du système. 
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Figure 5.38 : Les traitements et les mixages, effectués à partir de la source sonore, peuvent être eux- 
mêmes traités par un écho qui modifie le pitch. 

Figure 5.39 : Patch Max/MSP. 

Figure 5.40 : La télécommande de la Wii est placée à l'intérieur du cube. 

Figure 5.41 : Les données relatives à la vitesse et à la rotation de la télécommande Wii. 

Figure 5.42 : Interface de l'instrument MIDI. 

Figure 5.43 : L'instrument MIDI. 

Figure 5.44 : Les buffers. 

Figure 5.45 : Re-synthèse en temps réel des informations contenues dans les fichiers audio. 

Figure 5.46 : Interpolation des presets de la re-synthèse sonore. 

Figure 5.47 : Sub-patch Max/MSP qui permet de visualiser les données provenant de la caméra 
web. 

Figure 5.48 : Sub-patch qui permet de charger les partitions, de configurer certains paramètres 
d'exécution des notes, de choisir l'instrument, etc.. 

Figure 5.49 : Interface graphique du patch Max/Msp. 

Figure 5.50 : Interface graphique du patch Max/MSP qui permet de charger les séquences sonores et 

les images correspondant à chaque séquence sonore. 

Figure 5.51 : Représentation graphique de la séquence sonore choisie. 

Figure 5.52 : Représentation graphique représentant les différents éléments sonores qui constituent 
l'archive audio choisie. 

Figure 7.1 : Système A (A'— ->B') > Système B 

Figure 7.2 : Relations interactives entre les niveaux micro des éléments descriptifs des SMI. 
Figure 7.3 : Polarités entre bas niveau et haut niveau d'interactivité ou d'interaction. 
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Figure 7.4 : Exemple de relation entre deux systèmes dont les variables respectives se déterminent 
en fonction du type de mise en correspondance : unitaire, divergente ou convergente. 
Figure Bl : Voici les trois derrières lesquels jouent les trois musiciens. 

Figure B2 : Interface du SMI avec lequel on amplifie les instruments et avec lequel on sélectionne 
la séquence audio. 

Figure B3 : Le mot électronique indique quel type de ficher audio doit être activé. 

Figure B4 : Synthétiseur analogique utilisé pour produire certains sons de la partie électronique, 
Roland SH5 Analog Synthesizer. 

Figure B5 : Page numéro six de la partition. On peut observer l'écriture de petits sons rapides aux 
instruments. 

Figure B6 : Le numéro trois indique la zone temporelle où l'interprète de la partie électronique doit 
déclencher la séquence sonore. 

Figure B7 : Interface du patch Pure Data contrôlé au moyen d'une souris. 

Figure B8 : Trois enveloppes qui contrôlent trois paramètres du moteur. 

Figure B9 : Interface graphique du patch Pure Data. 

Figure B10 : La fréquence fondamentale est « produite » à l'aide de la fonction random de Pure 
Data. 

Figure Bll : La durée et le type de son noise sont aussi déterminés par deux fonctions random. 

Figure B12 : Interface graphique du patch qui es projeté dans l'installation pour observer et 
contrôler une vue de la vie extérieur. 

Figure B 1 3 : Valeurs du contrôle du moteur. 
Figure B14 : Installation Dones d'aigua. 

Figure B15 : Eléments qui constituent le SMI. 

Figure B16 : Interface graphique pour calibrer les paramètres de captation du son. 

Figure B17: Échantillon vidéo correspondant au bassin plein. 
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Figure B 1 8 : Capteur de lumière 

Figure B19 : Trous de la plaque où sont disposés les capteurs de lumière. 

Figure B20 : Sub-patch Pure Data qui permet lancer l'échantillon vidéo correspondant au système 
de captation. 

Figure B21 : Dessin qui montre la plaque dotée des capteurs (sur la table). 

Figure B22 : Le patch PATCHSATI2008 permet de charger plusieurs traitements et de configurer 
plusieurs modes de contrôle du moteur sonore. 

Figure B23 : Image de l'interface servant à configurer et visualiser les éléments de contrôle liés de 
la captation de geste. 

Figure B24 : Plusieurs traitements et modes de production sonore sont prévus dans le patch 
PATCHSATI2008. 

Figure B25 : Réservoir des fichiers audio du patch PATCHSATI2008. 

Figure B26 : Synthétiseur MIDI avec plusieurs partitions au choix. 

Figure B27 : Cette partition interactive permet l'élaboration de combinaisons, de juxtaposition et de 
superposition des différents traitements. 

Figure B28 : Partition qui nous indique au fur et à mesure du déroulement de la pièce quels sont les 
traitements et les contrôleurs qui sont activés. 

Figure B29 : Le saxophoniste et une seconde personne interagissent avec le système de captation 
assigné au mouvement de la tète. 

Figure B30 : Ci-dessus, sont disposés à gauche l'image fixe et à droite un fragment de la vidéo créée 
par Azadeh Nilchiani pour la pièce installation. 
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Liste de tableaux 



3.1 Travaux personnels qui intègrent des SMI repartis selon neuf catégories distinctes. 

5.1 Tableau en vue de l'élaboration des sons et des séquences. 

5.2 Activités interactives. 

5.3 Spatialisation sonore ou perception de l'écoute égocentrique. 

5.4 Le jeux. 

5.5 Autour de la perception et de la conscience de soi. 

5.6 L'objet communicant. 

5.7 Le corps comme instrument. 

7.1 Types de relation interactive et d'interaction. 
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A. Mon catalogue général d'oeuvres 



87. "Formas". For 4 players . Music composed with "Ensamble Mûsica Clandestina" . 2011. 

86. "...si tu no estuvieras observândome, yo no estaria aqui... que incertidumbre !". 
Electroacustic music: Flûte, clarinet, saxophone, percussion, piano, violin, cello and 
electronic music (Interactive Music System). 2011. 

85. "L 'heure bleue ...juste avant l'aube il y à une minute de silence... ". Electroacoustic music: 
Alto saxophone and electronic music (Interactive Music System). 2011. 

84. "Quarks blaus ". Electroacoustic music: Amplifîed baritone saxophone, three amplified 
snares durms and electronic music (Interactive Music System). 2011. 

83. "Impulsos ". Electroacoustic music: For 4 amplified players with Interactive Music 
System. 2011. 

82. La voix d'Ulysse. Electronic Music (Interactive Music System). Bernard Fauchille and 
Joan Bagés. 2011. 

81. "Transductions électroacoustiques". Flûte, saxophone, percussion, piano, double-bass. 2011. 

80. "Transductions Mixtes". Electroacoustic music. Flûte, violin, guitar and electronic music 
(Interactive Music System). 2011. 

79. "De los hadrones a la consciencia ". Electroacoustic music: Amplified bass clarinet and 
three amplified snares durms and electronic music (Interactive Music System). 2011. 

78. "La chambre noire". Electroacoustic music: Violin and electronic music (Interactive 
Music System). 2011. 

77. "Die Eingefangene Geste". Electroacoustic music: Amplified Flûte, amplified violin and 
amplified guitar and electronic music (Interactive Music System). 2011. 

76. "Transducciôn Electrônica". For 4 players. 2010. 

75. "Atomizaciôn Electrônica Version 1 - Atomizaciôn Electrônica Version 2 - Atomizaciôn 
Electrônica Version 3 -Atomizaciôn Electrônica". Acousmatic music. 2010. 

74. "Interactive Laberintus". Electronic music (Interactive Music System). 2010. 

73. "Interzone". Electroacoustic music: Basson and electronic music (Interactive Music 
System). 2010. 

72. "Aquifere". Interactive Installation. Azadeh Nilchiani and Joan Bagés. 2010. 
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71. "Mas de mil ojos nos vigilan - Electroacoustic projet". Cello - Electronic Music 
(Interactive Music System) - Video. 1-ElectronicSurvelling / 2-SurvelledCello / 3- 
CameraSurvelling / 4-MasDeMilOjosNos Vigilan / 5-Atomizaciôn Electrônica Version 1 
-Atomizaciôn Electrônica Version 2 - Atomizaciôn Electrônica / 6-ComputerSurvelling. 2010. 

70. "Le Labyrinthe ". Sound Installation (Interactive Music System). Léa Postil, Cyrille Arndt, 
Joan Bagés. 2010. 

69. "LHC". Electroacoustic music: Amplified bass flûte, three amplified snare drum. 2010. 

68. "Le Tailleur de Temps dans V Interzone" . Electroacoustic music: Amplified basson. "Le 
Tailleur de Temps dans l'Interzone (VE)". Electroacoustic music: basson and electronic 
music (Interactive Music System). 2010. 

67. "Naïade acousmatique". Acousmatic music. 2010. 

66. "...il suffit d'écouter la naïade". Electroacoustic music: Flûte, basson, violin, prepared piano 
and electronic music. 2010. 

65. "Genesi". Acousmatic music. 2009. 

64. "Temps d'Espera". Video and electronic music. 2009. 

63. "Dream ". Acousmatic music. 2009. 

62. "StatisticalLive". Sound installation (Interactive Music System). 2009. 

61. "TCP". Electronic music. 2009. 

60. "Surrealistas DPJ". Acousmatic music. 2009. 

59. "OverEspacesCheminsPrinted". Electroacoustic music: 2 Flûte, bass clarinet, basson, 
trumpet, violin, celo, piano and electronic music (Interactive Music System). "Printed Over": 
Flûte, trumpet, celo, piano. 2009. 

58. "Tôt pixelant". Electroacoustic music: Piano and electronic music (Interactive Music 
System). 2009. 

57. "Naïade". Flûte, clarinet, basson, violin, viola, cello and prepared piano. 2009. 

56. "Signes vers l'autre" - "Signes vers Toi " - "Signos exteriores". Acousmatic music. 2009. 

55. "Espaces et chemins". Electroacoustic music: Flûte, clarinet, basson, violin and 
electronic music (Interactive Music System). 2009. 

54. "NetArt". sound works that use internet as créative space. 2009-7. 

53. "Under code patch ". Electronic music (Interactive Musical System). 2009. 
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52. "Eléments de Conducta i Transport 1.0". Sound installation / electronic music (Interactive 
Music System). "Eléments de Conducta i Transport 1.1". Electronic music (Interactive Music 
System). 2009. 

51. "EspaisGestoVocals". Electroacoustic music:: Voice and electronic music (Interactive 
Music System). 2008. 

50. "La voie vers l'autre". Electroacoustic music: Basson and electronic music. 2008. 

49. "Intersections mixtes acousmatique" . Acousmatic music. 2008. 

48. "Deux Chemins vers la nuite". Acousmatic music. 2008. 

47. "Intersections mixtes". Electroacoustic music: Basson and electronic music / "Intersections 
mixtes (version instrumental) ". Basson. 2008. 

46. "Interactions B" - "Interactions Instrumentales" - "Interactions B (VE)". Flûte, clarinet, 
violin, cello and piano and electronic music. 2008. 

45. "Deux Poissons" - "Deux Poissons Japonais Acousmatiques" - "Deux Poissons Japonais 
Electroacoustiques" - "Deux Poissons Japonais Electroniques" - "Le rêve des Deux Poissons 
Japonais " - "Two radiocative fish ". Acousmatic music. 2008. 

44. "DOLAFA III". Electroacoustic music: Gralla and electronic music. 2008. 

43. "Calida Construccio 1.2". Acousmatic music. 2008. 

42. "l'alchimie du point. ..l'alchimie de la ligne ". Oboe, clarinet, violin, cello, piano and 

percussion. 2008. 

41. "Peintures sonores musica generativa ". Sound installation (Interactive Music System). 
2008. 

40. "White music". Electroacoustic music: Electric guitar and electronic music (Interactive 
Music System). 2008. 

39. "Porn Attitude". Acousmatic music. 2008. 

38. "Peinture Sonore". Sound installation/electrovideo / électronique / électronique-B / 
amplified baritone saxophone / baritone saxophone and electornic music (Interactive Music 
System) /baritone saxophone and electonic music. 2007. 

37. "Improvisation OAAATTA". Electric guitar. 2007. 

36. "Calida Construccio 1.0". Acousmatic music. "Calida Construccio 1.1". Electronic music 
(Interactive Music System). 2007. 

35. "Densités". Sound installation (Interactive Music System). 2007. 

34. "Alchemy". Oboe, clarinet, violin, cello, piano and percussion. 2007. 
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33. "Berceuse". Acousmatic music. 2007. 

32. "Point et ligne" - "Point et ligne-B". Acousmatic music. 2007. 

31. "Peintures sonores espectacle interactiu dramatic". Electronic music (Interactive Music 
System). 2006. 

30. 'Intersections Boule-Wav 2.0". Electroacoustic music: Basson and electronic music 
(Interactive Music System). 2006. 

29. "Interactions". Oboe, clarinet, violin, cello, piano and percussion. 2006. 

28. "Tout petit". Acousmatic music. 2006. 

27. "Dones d'aigua". Sound installation (Interactive Music System). 2006. 

26. "DEUX II". Acousmatic music. 2005. 

25. "Laberint sonor". Sound installation (Interactive Music System). 2005. 

24. "Hola Mercè". Trumpet, trombone, tuba, piano and percussion. 2005. 

23. "Arc en ciel". Electroacoustic music: Percussion and electronic music (Interactive Music 
System). 2005. 

22. "Esapiel". Electroacoustic music: Poetry and electronic music. 2005. 

21. "Peintures Sonores - vingt improvisations avec Sampler-Wav sur la peinture d'Araceli 
Rubi". Electronic music (Interactive Music System). 2005. 

20. "Wetback PD". Electroacoustic music: Virtual piano and electronic music (Interactive 
Music System). 2004. 

19. "Lo Mussol". Acousmatic music. 2003. 

18. "Fostex". Acousamtic music. 2003. 

1 7. "Damon ". Acousmatic music. 2003. 

16. "Piano Final". Video and electronic music. 2003. 

15. "Interludi VII". Guitar and voice. 2003. 

14. 'Black Fiction". Video and electronic music. 2003. 

13. "AB". Acousmatic music. 2003 

12. "DOLAFA III". Acousmatic music. 2002. 

11. "Els 6 b arrêts". Piano. 2001. 
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10. "Performance pianistica I". Performance. 2001. 

9. "DOLAFA II". Piano and poetry. 2001. 

8. "DOLAFA 1". Acousmatic music. 2001. 

7. "Collage musical". Acousmatic music. 2000. 

6. "Poulenc". Piano. 2000. 

5. "Intermezzo". Acousmatic music. 2000. 

4. "100 accions musicals". Performance. 2000. 

3. "8 poèmes electronics". Acousmatic music. 1999. 

2. "4 petits ternes per a piano i electrodomèstics". Electroacoustic music: Piano and electronic 
music. 1998 

1. "Intim per a piano i percussio". Piano and percussion. 1997. 
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B. Autres propositions personnelles dans mes créations sonores et musicales 

Bl Die Eingefangene Geste 

- Contexte de l'oeuvre : Die Eingefangene Geste est une pièce composée à Berlin lors de mes 
cours avec la compositrice anglaise Rebecca Saunders. La pièce fut créée en France dans le 
cadre des concerts du Festival Mas au Théâtre du Petit Miroir d'Issy-les-Moulineaux. 



- Description de l'oeuvre : Die Eingefangene Geste est une pièce électroacoustique pour flûte, 
violon, guitare et musique électronique avec SMI d'une durée comprise entre treize et quatorze 
minutes. La pièce présente une exploration très approfondie des possibilités de production sonore 
de ces trois instruments musicaux (flûte, violon, guitare). L'instrument musical est vu comme un 
espace à parcourir par des gestes et des sons, un peu comme dans la pièce La chambre noire, 
mais, dans ce cas-là, avec les trois instruments. Les trois instruments sont amplifiés et les 
auditeurs entendent le son résultant de la pièce au moyen de deux haut-parleurs. Cependant, on 
ne voit pas jouer les musiciens, car ils sont placés derrière un rideau blanc où des ombres sont 
projetées (Figure Bl). On entend, mais on ne voit pas : c'est une sorte de musique instrumentale 
acousmatique. 




Figure Bl : Voici les trois derrières lesquels jouent les trois musiciens. 
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- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle de type score-driven 
-driven Systems, au modèle répétitive et au modèle interprète. Il a été conçu comme modèle 
d'interactivité. Le SMI sert à amplifier les instruments acoustiques et à déclencher de brèves 
séquences électroniques composées en studio. Ces séquences électroniques, qui sont jouées sur 
les points d'arrêts, permettent d'avoir un point de vue perceptif diffèrent (alors qu'il s'agit d'une 
matière sonore très éloignée de la matière sonore instrumentale) et d'envisager une manière plus 
conceptuelle d'appréhender le sujet de la pièce. 

Disons que l'idée réside à l'intérieur même du processus de composition de cette pièce, car le 
concept du SMI en est la métaphore, sur les relations entre les instruments et le développement 
du matériau musical. L'interprète au SMI a pour tâche d'amplifier les instruments et de chercher, 
selon la salle, un niveau sonore adéquat pour chaque instrument. La flûte est placée sur le haut- 
parleur de gauche, la guitare sur le haut-parleur de droite et le violon au centre, car c'est à partir 
de cet instrument et ses sonorités que les gestes musicaux ont été composés pour cette pièce. 



- Le système de captation sonore et le système de captation du geste physique du SMI : trois 
microphones captent le son de la flûte, le violon et la guitare pour les amplifier. L'interface 
graphique permet à l'interprète à l'ordinateur, à l'aide de la souris, d'activer des séquences 
sonores déterminées, à chaque point d'arrêt, comme indiqué sur la partition. 



- Le moteur et le son résultant du SMI : le son résultant est le mixage des trois instruments 
amplifiés auxquels s'ajoutent les séquences électroniques, activés à certaines moments (Figure 
B2). Les séquences sonores proviennent de l'enregistrement de sons créés avec des synthétiseurs 
analogiques. Le moteur du SMI a un réservoir de sons électroniques qui sont classés en fonction 
des critères suivants : modulation de phase, amplitude de modulation, modulation de fréquence, 
modulation d'anneaux, oscillateurs, synthèse additive, synthèse granulaire. Chaque fois qu'un 
réservoir est actif par rapport à un type de séquence électronique, le SMI fait une sélection 
aléatoire de fichiers audio. 



- La mise en correspondance du SMI : avec la souris, on active et l'on désactive les sons 
électroniques. La mise en correspondance est unitaire. 
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Die Eingefangerie Geste 
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Figure B2 : Interface du SMI avec lequel on amplifie les instruments et avec lequel on 

sélectionne la séquence audio. 



- La partition indique clairement à quel endroit l'interprète du SMI doit activer et désactiver la 
lecture d'une séquence électronique (Figure B3). 
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Figure B3: Le mot électronique indique quel type de ficher audio doit être activé. 
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B2 De los hadrones a la consciencia et Quarks Blaus 



De los hadrones a la consciencia et Quarks Blaus sont deux pièces qui sont composées sur la 
même idée. Les deux pièces ont presque la même partition, mais le SMI a été différemment 
développé. 

Quarks blaus 

- Contexte de l'oeuvre : Quarks Blaus est aussi une pièce réalisée aux studios de Césaré de 
Reims dans un cadre de compositeur en résidence. Ce travail a été rendu possible grâce à une 
bourse de Création de la "Generalitat de Catalunya". Pour composer cette pièce, j'ai travaillé 
avec la saxophoniste Helena Coronel, professeur de saxophone au CRR de Reims et avec le 
percussionniste Maxime Echardour de l'Ensemble l'Instant Donné de Paris. 

- Description de l'oeuvre : Quarks Blaus est une pièce électroacoustique pour saxophone baryton, 
trois caisses claires amplifiées et électronique avec SMI. 

L'idée instrumentale de cette pièce a déjà été développée dans ma pièce LHC pour flûte basse, 
trois caisses claires et électronique (SMI). L'accumulation de petites particules sonores, comme 
des grains de sons qui tournent les uns autour des autres, de façon à créer des masses de sons, en 
produisant des formes diverses, nous rappelle la synthèse granulaire. L'accélérateur de particules 
« LHC » en Suisse en est la métaphore quantique, qui sert de référence pour organiser le 
matériau sonore. 



- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle du type score-driven 
Systems, à réponse répétitive et interprète, et est envisagé comme modèle d'interactivité. 

Le rôle du SMI consiste ici en l'amplification du son du saxophone baryton et des trois caisses 
claires, qui sont frottées et grattées de plusieurs manières. Mon idée est de rendre audible, et 
même avec un volume très présent, les sons de ces instruments qui ne seraient pas suffisamment 
présents. 
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Le SMI sert à amplifier et à contrôler les instruments, à situer les sons dans un espace de 
restitution stéréophonique. Le son du saxophone est placé au centre. La caisse claire 1 est sur le 
côté gauche, la caisse claire 2 sur le côté droit et la caisse claire 3 est retournée pour être joué sur 
le timbre ; celle-ci est placée au centre de l'espace stéréophonique. Le SMI a aussi pour fonction 
le déclenchement de plusieurs séquences sonores. 



- Les systèmes de captation sonore et du geste physique du SMI : quatre microphones captent le 
signal acoustique des quatre instruments. Une pédale permet au saxophoniste de déclencher les 
nombreuses séquences sonores. 



- Le moteur et le son résultant du SMI : le moteur sonore est équipé de nombreuses séquences 
déclenchées par le saxophoniste. Le son résultant est le résultat d'un mixage entre le saxophone 
et le son des caisses claires, ainsi qu'avec le son électronique en temps réel. Le son électronique 
a été préparé en studio et a été composé à partir de synthétiseurs analogiques et numériques 
(Figure B4). Dans cette pièce, l'électronique est toujours très présente, même à différents 
niveaux d'intensité et d'activité. Le rôle de l'électronique consiste à favoriser un cadre artificiel, 
à l'image de l'accélérateur de particules, qui pourrait rendre une sensation d'espace où les sons 
instrumentaux subissent des collisions. 




Figure B4 : Synthétiseur analogique utilisé pour produire certains sons de la partie électronique, 

Roland SH5 Analog Synthesizer. 
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L'électronique est fusionnée aux sons instrumentaux pour produire des sonorités plus 
métalliques, impossibles à obtenir avec les instruments acoustiques seuls. 



- La mise en correspondance du SMI : la mise en correspondance est basée sur un type de mise 
en correspondance unitaire. Chaque coupe de pédale sert à déclencher un événement sonore. 



- Partition : voici la partition du saxophone baryton et des trois caisses claires qui montrent une 
écriture inspirée des sonorités granulaires. (Figure B5) 





Figure B5 : Page numéro six de la partition. On peut observer l'écriture de petits sons rapides 

aux instruments. 
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De los hadrones à la consciencia 

De los hadrones à la consciencia est une pièce électroacoustique pour clarinette basse, trois 
caisses claires amplifiées et électronique (SMI). L'idée, le concept, la musicalité de cette pièce 
sont similaires à ceux de la pièce Quarks Blaus, déjà présentée. Pour autant, je ne vais pas 
réexposer tous les éléments en commun. Il est plus intéressant à se focaliser sur certaines 
différences qui font que ce travail met enjeu une approche sonore et interactive différente : 

- Par comparaison, la partie électronique a un rôle assez un peu en retrait, avec moins de 
présence. L'électronique exploite des points d'arrêt et d'écoute, ce qui permet de comprendre 
l'idée d'une matière qui s'accélère pour en créer de nouvelles. Ainsi, il y a une impression de 
transformation d'une texture instrumentale devenant une texture électronique grâce à des jeux de 
mouvement musicaux. Au final, le résultat est ici totalement différent de la pièce Quarks Blaus. 



- Le SMI dispose de huit séquences sonores qui doivent être déclenchés par une troisième 
personne aussi responsable de l'amplification des instruments. Sur la partition, il est indiqué 
l'instant où doit être déclenché la séquence, avec la barre d'espace de l'ordinateur. La séquence 
prend une importance événementielle au moment du point d'arrêt. 



Le point indiqué sur la partition est un point relatif, qui ne doit pas être exactement traduit trop 
précisément. C'est plutôt une zone relative où la séquence peut commencer à émerger. Le jeu 
proposé aux instrumentistes consiste à porter une attention particulière au départ de la séquence 
sonore et à l'accompagner pour créer l'illusion d'une nouvelle matière, grâce à l'intervention 
instrumentale (Figure B6). 
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Figure B6 : Le numéro trois indique la zone temporelle où l'interprète de la partie électronique 

doit déclencher la séquence sonore. 
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B3 Atomizaciôn Electrônica 

- Contexte de l'oeuvre: composé en 2010, Atomizaciôn Electrônica est une commande de 
l'Ensemble Taller Sonoro (1) à l'occasion du dixième anniversaire de la création de l'ensemble. 



- Description de l'oeuvre : pièce acousmatique faisant partie d'un projet plus large, Màs de mil 
ojos nos vigilan, Atomizaciôn Electrônica est un ensemble de six pièces avec dispositifs 
électronique qui reprend certains éléments sonores composant les autres pièces du projet. Les 
éléments y sont modifiés pour obtenir une nouvelle réalité sonore et musicale, qui se veut 
évocatrice de l'idée d'une saturation et d'une atomisation de l'homme d'aujourd'hui. 

Pour obtenir une telle sensation dans une réalité musicale, un développement en Pure Data 
(Figure B7) a permis la création de textures sonores et de séquences qui en constituent les 
aspects essentiels. 



- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle du type performance- 
driven Systems, à réponse changeante-générative et instrumentale, et est envisagé comme 
système d'interaction. Le système interactif intervient dans la troisième étape sur les cinq 
nécessaires à l'élaboration de la pièce, d'où le besoin de nouveaux sons et de nouvelles 
séquences granulaires et saturés. 



(1) Ensemble Taller Sonoro: ( http:/ www. tiillcrsonoro.com/ ) 
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Figure B7: Interface dupatch Pure Data contrôlé au moyen d'une souris. 



- Le système de captation sonore et le système de captation du geste physique du SMI : les 
touches et la souris de l'ordinateur. 



- Le moteur et le son résultant du SMI : un accès aux commandes de synthèse FM et de synthèse 
additive est situé sur la partie gauche de l'interface (couleur mauve). Un contrôle de paramètres 
de la synthèse granulaire ainsi que des traitements supplémentaires (delays et harmonizers) sont 
possibles. 

La partie droite de l'interface montre un dispositif (bleu). Il est possible, au moyen de cet accès, 
de charger jusqu'à huit échantillons sonores et de leur appliquer un traitement de synthèse 
granulaire. Aussi, le traitement des échantillons peut être envisagé au moyen des accès situés sur 
la partie gauche de l'interface. 
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Tous les sons et tous les traitements peuvent s'appliquer en même temps ou séparément. De cette 
façon, il est possible d'obtenir un résultat sonore plus ou moins saturé et, ou, granulaire. 



Une grande partie des paramètres associés au programme peut être déterminé à l'aide 
d'enveloppes temporelles, pour lesquelles on définit le degré de traitement dans un temps donné. 
Cette possibilité permet de contrôler un certain nombre de paramètres à l'aide de la souris, tout 
en jouant en temps réel, pendant que d'autres paramètres sont définis, écrits et contrôlés par des 
enveloppes (Figure B8). 



- La mise en correspondance du SMI : la mise en correspondance est divergente. 

- Partition du SMI et ou partition instrumentale : l'interface graphique permet de mettre en 
évidence les possibilités temporelles issues de la mise en correspondance. 




Figure B8: Trois enveloppes qui contrôlent trois paramètres du moteur. 
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B4 Under code patch 

- Contexte de l'oeuvre : Under code patch est une pièce qui a été composée en 2009 et qui est 
doté d'un SMI. La pièce provient de ma recherche et de mon intérêt pour l'improvisation 
musicale. Elle est la conséquence d'une rencontre avec Anki Toner, un artiste sonore de 
Barcelone et qui est directeur artistique chez Hazard Records. 



- Description de l'oeuvre : Under code patch est une pièce électronique improvisée et composée 
en temps réel avec des sons électroniques produits également en temps réel. La captation du son, 
à partir des haut-parleurs est conjointe avec ceux déclenchés à partir d'un réservoir de fichiers 
audio déclenchés à l'aide d'un patch Pure Data. 

- Le SMI : le SMI a été conçu selon un modèle polarisé proche de ceux, performance-driven 
Systems, dont la réponse est changeante-générative, et en fonction du modèle instrumental. Le 
SMI à été pensé selon un modèle d'interaction, il est constitué de l'ordinateur, d'un patch Pure 
Data, et d'une collection de fichiers audio. 

Il a pour fonction de: 

. Collecter l'information en provenance du contrôleur. 

. Produire une réponse sonore. 



- Le système de captation sonore et le système de captation du geste physique du SMI : 
l'interprète qui joue l'électronique improvise à partir des possibilités offertes par la 
programmation du patch (Figure B9). Pour actionner les fonctions de l'interface graphique, il 
utilise la souris de l'ordinateur, pouvant ainsi activer tous les processus de génération sonore. Un 
microphone extérieur ou encore le microphone interne de l'ordinateur peuvent servir pour capter 
le signal diffusé par les haut-parleurs. 
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Figure B9 : Interface graphique du patch Pure Data. 

- Le moteur et le son résultant du SMI ; Le moteur de génération sonore est équipé de différents 
processus électroniques : 

. Deux buffers permettent l'enregistrement du signal en temps réel. Le système enregistre donc le 
résultat sonore produit via les haut-parleurs. 

. Un réservoir de trente-six fichiers audio est utilisé. Ces fichiers, constitués de sons aux textures 
granulaires à partir de disques vinyles, ont été extraits du Cdr 61 d'Anki Toner, publiée chez 
Hazard Records. 

. Sons électroniques : Noise, synthèse additive et distorsion de partiels. 

Le résultat est une pièce improvisée assez expérimentale, électronique et granulaire. 



- La mise en correspondance du SMI : à l'aide de la souris, les trois processus mentionnés sont 
activés ou désactivés. Certains processus aléatoires, à partir des fonctions de type random, 
simulent des décisions. 
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La continuité de lectures d'un fichier audio à un autre, le choix de la fréquence fondamentale 
(Figure B10), les variations et la vitesse des changements de celle-ci, la durée et le type de son 
noise (Figure Bll). La mise en correspondance est basée sur un type de mise en correspondance 
divergente. 




send- parttall 



Figure B10 : La fréquence fondamentale est « produite » à l'aide de la fonction random de Pure 

Data. 
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Figure Bl 1 : La durée et le type de son noise sont aussi déterminés par deux fonctions random. 



- Partition du SMI et ou partition instrumentale : le patch Pure Data est un sorte de partition 
virtuelle, où le choix des traitements, des sons et leur contrôle conditionnent le résultat de la 
pièce électronique, qui est de nature improvisée mais dont les éléments de base sont identiques. 
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B5 StatisticalLive 



- Contexte de l'oeuvre : StatisticalLive est une installation sonore qui a été élaborée en 2009 
comme une nécessité personnelle d'explorer les possibilités du programme mViaCam. Ce 
programme est à l'origine développé dans le projet EMSTI pour la captation de mouvement, 
issus de personnes atteintes de paralysie cérébrale. Il est exploité ici dans un autre contexte que 
celui du projet EMSTI. 

- Description de l'oeuvre : StatisticalLive est une installation sonore qui traite d'un sujet de 
société : les systèmes de vidéo surveillance, dont le sujet avait déjà été développé dans une pièce 
pour violoncelle et SMI, Mâs de mil ojos nos vigilan. Cette installation est dotée d'une caméra en 
réseau équipé d'un microphone. Celle-ci est placée dans la rue ou dans un lieu permettant 
d'obtenir un champ de vision de l'extérieur suffisant depuis une fenêtre ou une porte, de telle 
sorte qu'à partir de la salle où est située l'installation, les visiteurs puissent visualiser aisément 
les gens qui passent dans la rue. Un patch Max/MSP gère non seulement l'information relative 
au son, via le microphone, et à l'image, collectée par la caméra, mais permet aussi la réalisation 
complète de l'installation sonore. 

- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle de type score-driven 
Systems, au modèle répétitif et au modèle instrumental. Le SMI à été conçu et sous un modèle 
d'interactivité. Grâce à une caméra en réseau et au logiciel mViaCam, le patch Max/MSP détecte 
et récupère la position (dans les axes X et Y), la vitesse du mouvement (dans l'axe X), des 
personnes et des véhicules qui passent dans la rue. Le son extérieur de la rue est récupéré via le 
microphone de la caméra. L'objectif du SMI est donc de rendre perceptible l'activité extérieure. 
Il s'agit d'une traduction vers le monde sonore du sujet de la vidéo surveillance. L'interface 
graphique du patch, qui est projeté dans l'installation, permet au visiteur d'observer les piétons et 
les voitures. L'interface permet de « voir » l'extérieur, mais elle offre aussi une traduction, à 
partir de valeurs numériques, d'une vision du monde analogique (Figure B12). 



- Le système de captation sonore et le système de captation du geste physique du SMI : 
. Microphone 



473 



. Caméra en réseau 

- Le moteur et le son résultant du SMI: Le son résultant provient du mixage du son extérieur, du 
bruit de la rue et du son électronique produit. Ce son électronique est créé à l'aide de l'objet 
Max/MSP ie. puise, auquel on ajoute deux lignes de retard. 



- La mise en correspondance: La vitesse de mouvement dans l'axe X contrôle les valeurs de 
l'objet el.pulse. La position verticale et horizontale contrôlent les lignes de retard (Figure B13). 
La mise en correspondance est basée sur un type de mise en correspondance unitaire. 




Figure B12 : Interface graphique du patch qui es projeté dans l'installation pour observer et 
contrôler une vue de la vie extérieur. 
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Figure B13: Valeurs du contrôle du moteur. 
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B6 Dones d'aigua 

- Contexte de l'oeuvre : Dones d'aigua est un projet issu d'une collaboration avec l'artiste 
visuelle et multimédia Carmen Platero. Cette oeuvre à été présentée dans différents contextes, du 
concert à l'installation sonore. Par exemple, c'est en tant qu'installation sonore que Dones 
d'aigua fut présentée au Festival Artech (novembre 2006) à l'université des beaux-arts de 
Pontevedra (Espagne). 



- Description de l'oeuvre : Dones d'aigua est une installation sonore électronique (Figure B14). 
La création sonore provient des objets en cristal qui flottent de façon totalement aléatoire. 

L'impossibilité de contrôler la dérive est en soi un acte poétique. 

Cependant, il n'est s'agit pas de laisser les cristaux aller au gré de l'eau sans autre action, car le 
propos se limiterait par trop à une causalité simple, délimité par la technologie elle-même. Les 
machines électroniques low tech utilisées dans cette pièce servent de médiateurs, d'organes 
articulant le mouvement et le son. 

Un message est en quelque sorte transporté à notre quotidienneté, par un excès technologique, 
dans un bruit médiatique, ne permettant aucune contemplation de la beauté. 

La technologie est ici loin de la promesse de bonheur. 

Le jeu proposé est celui de coupes flottant sans direction particulière. La revendication est 
entrevue de la part d'une dérive, à l'image de la beauté contemplative qui se matérialise sous une 
forme magistrale dans les sculptures de Céleste Boursier-Mougenot, auxquelles est fait un clin 
d'oeil. 

Dans Dones d'aigua, la tentative de contrôle de la part de la technologie est plutôt maladroite, 
mais cela ne lui enlève pas son intérêt. La contemplation est sacrifiée pour la représentation d'un 
message distinct. Dans le cas précis, il s'agit d'un désir de contrôle et de consommation de 
chaque mouvement, de chaque son ; il n'y a pas de lieu pour le plaisir de la contemplation. C'est 
un résultat spontané, arbitraire et parfois maladroit qui laisse le côté technologique mutilé, en le 
dotant d'un aspect relativement pathétique. 
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La dissémination d'un certain type d'émotion à travers le système technologique reste l'objectif 
essentiel de l'installation et du concert; tenter le transférer certaines caractéristiques liées à 
l'émotion à un réseau de pics, de capteurs, etc.. 

Des millions d'électrons qui voyagent via les câbles, ou à l'extérieur, qui se transforment pour le 
spectateur, bien qu'il ne s'agisse que de brefs instants, telle la circulation sanguine qui parcourt 
une sculpture. 

Au moyen d'une série de mécanismes, l'eau se meut et des petites lumières s'allument et 
s'éteignent à l'intérieur pendant que se créent aussi des nouveaux sons. 




Figure B14 : Installation Dones d'aigua. 

- Le SMI : le SMI a été conçu selon un modèle polarisé proche du modèle performance-driven 
Systems, du modèle changeante-générative et du modèle d'instrument. 

Il est aussi conçu comme un modèle d'interactivité. 

Grâce à un moteur, placé sous la piscine, qui met l'eau en mouvement, le SMI produit un 
scintillement incessant, nerveux et incontrôlable, en raison des coups incessants. 

Les coupes en verre flottent sans direction prévisible, à l'image des grands icebergs, ou des 
objets cristallins qui seraient faits de glace et qui sont agités nerveusement. 
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Le SMI est constitué d'un ordinateur chargé du patch programmé en Pure Data, d'une piscine en 
plastique remplit d'eau, de coupes de cristal, de petites lumières, d'un moteur, d'une caméra 
infrarouge, d'un microphone, et d'une boite contenant un circuit pour le contrôle des capteurs et 
du moteur (Figure B15). 
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Figure B15 : Éléments qui constituent le SMI. 
Le SMI a pour fonction de: 

. Collecter les données des capteurs et activer les lumières. 
. Récupérer le signal du microphone. 
. Collecter les données de la caméra infrarouge. 
. Produire le son résultant de l'interaction entre les coupes de cristal. 
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- Le système de captation sonore et le système de captation du geste physique du SMI : dans 
cette installation, le design de la programmation détermine les interactions et le résultat sonore. 

Un capteur détecte chaque impact entre les petites coupes de cristal, ce qui provoque activent des 
led (composants électronique lumineux). 

Pour la captation sonore, un microphone très sensible facilite la détection des impacts et des 
sonorités liquides. 

Tous les paramètres se règlent sur l'interface graphique du patch (Figure B16). 

. On récupère à partir des impacts. 
. L'amplitude. 

. La fréquence. 

. Une durée entre les coups qui détermine un niveau d'activité. 
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Figure B16 : Interface graphique pour calibrer les paramètres de captation du son. 



- Le moteur et le son résultant du SMI : le moteur du SMI permet le mixage du signal capté 
directement de la piscine avec le son traité en temps réel, des sons d'eau et des impacts de cristal. 

Le son obtenu a une texture cristalline et est formé par des impacts, des textures granulaires de 
différentes couches dont le placement détermine différents espaces, par exemple d'un espace sec 
et clair à un espace réverbérant et aquatique, ou encore d'une masse sonore qui bouge de façon 
imprévisible tout en gardant une homogénéité de son timbre et de sa texture. 



- La mise en correspondance du SMI : 

. Selon l'intensité des impacts, le système déclenche les échantillons. Il s'agit d'une 
correspondance de type unitaire. 
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. La quantité d'activité, qui est complètement dépendante de la quantité d'impacts, contrôle, par 
correspondance unitaire, la densité de la synthèse granulaire. 

. Toujours avec le même type de correspondance, la fréquence des impacts contrôle les variables 
de transposition et la taille des grains de la synthèse. 



- Partition du SMI et ou partition instrumentale : la partition du SMI est constituée à partir des 
relations et des conditions établies dans la mise en correspondance ; celles-ci indiquent le type de 
son et d'articulation, que l'on obtiendra comme résultat musical. 
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B7 Aquifere 

- Contexte de l'oeuvre: Installation visuelle interactive créée par Azadeh Nilchiani et Joan Bagés 
en 2010. Ce projet est une proposition de collaboration de la part d'Azadeh Nilchiani, dans le 
cadre de ses études de Master 2 en "Arts et sciences de l'enregistrement" à l'Université Paris-Est 
de Marne la Vallée. Cette installation vient de l'expérience d'Azadeh avec les bassins d'eau 
existants dans les jardins de Kachan (Iran). Azadeh dans relate dans son mémoire: 

"Ce magnifique jardin, situé à Kachan, en plein désert, est doté de bassins et de vergers qui 
valent bien ceux de Chiraz : construit pour Shah Abbas 1er (1571-1629), le jardin offre une 
version persane du paradis. Toujours très apprécié pour ses sources naturelles, il abrite les 
vestiges d'un palais pour «Chah», (le roi d'Iran). C'est un monument historique de l'époque 
«Séfévides» de l'histoire de l'Iran. Le jardin s'étend sur 2,3 hectares avec une cour principale 
entourée de remparts, avec quatre tours circulaires. Comme la plupart des jardins persans de 
cette époque, le Jardin Fine dispose d'un grand nombre de jeux aquatiques. Les bassins sont 
alimentés à partir d'une source située derrière le jardin, et la pression de l'eau est telle qu'elle 
circule dans un grand nombre de bassins et de fontaines sans avoir besoin des pompes 
mécaniques. L'entrée de l'eau dans le jardin passe par un bassin de source avec des trous sur le 
fond de bassin relié entre eux pour permettre l'écoulement de l'eau d'une manière très délicate et 
harmonieuse. L'eau se répand ensuite dans tout le jardin (2) ». 

- Description de l'oeuvre : Azadeh propose l'idée est d'un bassin créé avec des échantillons vidéo 
qui seraient projetés. Ces échantillons devront s'inspirer du mouvement de l'eau d'un bassin qui 
s'écoule, et il faudra avoir la possibilité de jouer en simulant le remplissage du bassin. La 
proposition interactive pour le mixage des échantillons d'image provient d'une idée musicale ou 
sonore, dans laquelle une densité se crée par la simultanéité des événements (Figure B17). Selon 
la quantité de mains sur l'installation il y aurait plus ou moins d'eau dans le bassin, qui 
deviendrait dans le même temps plus ou moins profond. L'idée interactive autour d'un bassin de 
plus en plus riche peut être obtenu avec le rassemblement progressif de personnes. L'installation 
réagit en effet au nombre de mains projetées directement sur les capteurs placés à différents 
endroits de l'installation. Ces capteurs représentent les sources par lesquelles entre l'eau au 
bassin. 
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- Le SMI : le SMI a été conçu selon un modèle proche du modèle du type performance-driven 
Systems, à réponse changeante-générative et instrumentale, et est envisagé comme système 
d'interaction. Le SMI est constitué d'une plaque avec huit trous dans lesquels sont placés huit 
capteurs d'intensité lumineuse. Un patch Pure Data a pour fonction de récupérer l'information 
gestuelle produite par les mains qui interfèrent entre la lumière et les capteurs. Le patch 
déclencher les échantillons vidéo. 




Figure B17: Échantillon vidéo correspondant au bassin plein. 

- Le système de captation sonore et le système de captation du geste physique du SMI : Une 
plaque munie de plusieurs trous représente les sources d'eau du bassin. Huit capteurs lumière 
(Figure B18) équipes les huit trous prévus à cet effet. Les utilisateurs de l'installation doivent 
passer la main sur les trous pour faire varier l'intensité lumineuse, donc « indiquer au système 
une présence» (Figure B19). Selon le numéro de trou bouché enregistré par le patch, un 
échantillon du vidéo ou un autre est déclenché. 




Figure B18 : Capteur de lumière 



2. Azadeh Nilchiani. Projet d'installation interactive « Aquifère ». Mémoire de Master 2 (2009/2010). Université Paris-Est Marne la Vallée. 
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Figure B19 : Trous de la plaque où sont disposés les capteurs de lumière. 



- Le moteur et le son résultant du SMI : dans cette installation ne fait appel qu'à des échantillons 
(Figure B20). Le moteur du patch Pure Date gère huit vidéos. Chaque vidéo, en boucle, 
représente une densité différente de l'eau du bassin, depuis un bassin vide jusqu'au bassin 
remplie et profond. 
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Figure B20 : Sub-patch Pure Data qui permet lancer l'échantillon vidéo correspondant au 

système de captation. 
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- La mise en correspondance du SMI : Les mains modifient l'intensité lumineuse, les capteurs 
collectent les données et le système calcule combien de trous ont été bouchés. Le numéro de 
capteurs est assigné à un échantillon particulier qui est alors déclenché ; en revanche, si aucun trou 
n'est masqué avec les mains, le bassin virtuel s'écoule (Figure B21). La mise en correspondance est 
basée sur un type unitaire. 
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Figure B21 : Dessin qui montre la plaque dotée des capteurs (sur la table). 
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B8 EspaisGesto Vocals 

- Contexte de l'oeuvre : la présentation de mon travail de recherche relatif aux situations de 
handicap au sein de l'Association de Provinciale de Paralyse Cérébrale de Tarragone (Espagne) 
est un sujet largement évoqué et développé dans le troisième chapitre de ce travail de thèse. 

Cette recherche sur le SMI, en rapport aux possibilités d'interaction avec des personnes 
handicapées, a donné lieu à un outil informatique développé dans le cadre du projet mentionné. 
Cependant, la pièce EspaisGestoVocals (2008) se situe dans un contexte différent. Le travail 
d'écriture explore les possibilités musicales de ce même outil. 

Le projet développé à Tarragone a nourri mon expérience et mes réflexions autour des SMI. J'ai 
donc voulu explorer ici les possibilités de ces mêmes outils informatiques pour la création d'une 
pièce pouvant être joué dans un contexte d'installation ou lors d'un concert de musique 
expérimentale. 

La pièce a d'ailleurs été présentée en tant qu'installation sonore au Congrès sur le Handicap et 
les Nouvelles Technologies à Tarragone en 2008. 



- Description de l'oeuvre : en tant que pièce électroacoustique, pour une voix ou un instrument 
seul avec électronique et SMI, EspaisGestoVocals est d'une durée de dix minutes. 

Prenant comme point de départ le SMI utilisé avec le patch PATCHSATI2008 développé au 
centre de paralyse cérébrale de Tarragone, le patch est fractionnaire. Les possibilités de 
combinaisons sont utilisées avec des restrictions : les traitements et les possibilités d'interaction 
gestuelle et sonore sont envisagés indépendamment les uns des autres. En raison de la nature des 
personnes à qui est destinée l'application, peu de mélanges, de juxtapositions ou de 
superpositions sont finalement envisagées. 

Selon le contexte artistique, installation sonore ou pièce de musique expérimentale improvisée, 
les mises en relations cherchent à favoriser un espace sensible et varié qui inscrit un discours 
dans le temps. 
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- Le SMI: le SMI a été conçu selon un modèle polarisé proche des modèles du type score-driven 
Systems, à réponse changeante-générative et au modèle instrumental. Le SMI à été conçu comme 
modèle d'interaction. 

Constitué d'accès usuels (clavier numérique et souris), le système est complété par un 
microphone, une caméra en réseau {webcam) et le patch Max/MSP PATCHSATI2008 (Figure 
B22). Ce dernier a en charge le traitement des données transmises à partir de l'application 
logicielle mViaCam (3). 



PATCH SATI 



Configurai» 
Audio 
Captaciô 




Tractaments àudio 



Sintesis 



Instruments 



Mapping - 



Partitura 
Interacti 



Enregistra sessiô 
àudio 

tadaltoer ftEÙSTOP 

o D 



Figure B22 : Le patch PATCHSATI2008 permet de charger plusieurs traitements et de 
configurer plusieurs modes de contrôle du moteur sonore. 



Le patch PATCHSATI2008 a pour fonctions de : 
. Traiter l'information provenant des contrôleurs. 
. Produire les réponses sonores en fonction de la partition interactive. 



- Le système de captation sonore et le système de captation du geste physique du SMI : 
l'application logicielle mViaCam permet la récupération des informations délivrées par la caméra 
en réseau, issues du mouvement corporel. 

Le microphone capte simplement la voix ou tout autre instrument. L'information sert alors au 
contrôle de certains paramètres du moteur du SMI (Figure B23). 



3. mViaCam: C'est un version plus évolué du logiciel cité auparavant, Facial Mouse. 
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Figure B23 : Image de l'interface servant à configurer et visualiser les éléments de contrôle liés 

de la captation de geste. 



- Le moteur et le son résultant du SMI : le moteur est équipé de plusieurs types de traitements et 
différents sons (Figure B24, Figure B25, Figure B26). 



, Reproduction de fichiers audio stockés sur le disque dur 

. Réverbération 

Chorus 

Flanger 
. Filtres 

. Echo avec aussi changement de hauteur (pitch) 
, Changement de pitch 

. Synthétiseur MIDI et partitions avec notes et accords 
. Synthèse FM 
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Figure B24 : Plusieurs traitements et modes de production sonore sont prévus dans le patch 

PATCHS ATI2008. 
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Figure B25: Réservoir des fichiers audio du patch PATCHS ATI2008. 
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Figure B26 : Synthétiseur MIDI avec plusieurs partitions au choix. 



- La mise en correspondance du SMI : l'idée musicale de départ consiste à juxtaposer et créer 
dans le même temps une temporalité différente assimilée à chaque traitement, et c'est pour ainsi 
dire une mise en correspondance qui est conservée pour toute la pièce. 

Un sub-patch (partition interactive) met en service, en activant ou désactivant, pendant une durée 
de dix minutes, l'ensemble des traitements et des contrôleurs selon une séquence temporelle 
pensée au préalable. 

Ces décisions font partie de décisions compositionnelles, elles inscrivent en effet les événements 
sonores et leur rôle dans le temps. Avec la partition sonore, on peut ainsi créer une juxtaposition 
et une superposition d'espaces sensibles au son et au geste (Figure B27). 
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Figure B27 : Cette partition interactive permet l'élaboration de combinaisons, de juxtaposition et 
de superposition des différents traitements. 



Le mouvement de la tête, capté au moyen de la caméra en réseau (webcam) et le mouvement de 
la main sur la souris de l'ordinateur contrôlent la vitesse de lecture des fichiers audio déclenchés, 
ainsi que certains paramètres de la synthèse FM. 

L'analyse de la fréquence du son en entrée sert à contrôler certains paramètres de traitements. 

Les valeurs de certains paramètres du moteur, qui ne sont pas sous contrôle gestuel, sont 
prédéterminées alors que d'autres valeurs sont configurées à partir de fonctions [random]. La 
mise en correspondance est de type divergent. 

- Partition du SMI et ou partition instrumentale : la partition, envisagée comme un espace 
d'indications graphiques, permet à la personne qui interagit avec le système, d'avoir des points de 
repères temporels et visuels sur les traitements et les modes d'interactions qui sont activés. À 
l'intérieur de ces espaces sensibles, une personne est censée interagir librement selon sa propre 
intuition (Figure B28). 
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Figure B28 : Partition qui nous indique au fur et à mesure du déroulement de la pièce quels sont 
les traitements et les contrôleurs qui sont activés. 
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B9 Peinture Sonore (plusieurs pièces) 

- Contexte de l'oeuvre : le projet Peinture Sonore développé en 2007 reprend en fait le titre 
d'autres projets musicaux antérieurs. Présentés en amont dans le présent travail de thèse, et les 
projets déjà réalisés sont complètement différents du point de vue du matériau sonore ainsi qu'au 
sujet des dispositifs utilisés. 

Néanmoins, un point commun aux projets précédents concerne le travail sur la granularité, tant 
sur les textures électroniques qu'instrumentales. Développé et présentée au Conservatoire de 
Pantin dans la classe de la compositrice Christine Groult, le projet à pu être réalisé avec la 
participation de: 

. Benjamin Dousteyssier, saxophoniste. 

. L'artiste visuelle et sonore Azadeh Nilchiani avec laquelle nous avons entrepris de nombreuses 
collaborations. 

César Mauri est un informaticien avec lequel une collaboration est née par la suite. Cette 
collaboration, ainsi que les applications en vision artificielle dans de projets comme le projet 
EMSTI, est largement explicitée dans la troisième partie de cette thèse. 



- Description de l'oeuvre : constitué de plusieurs pièces autour d'une idée commune, le projet est 
développé pour un ensemble de créations distinctes à partir d'un même matériau sonore et 
visuel : 

. Une installation sonore avec SMI. 

. Une pièce avec vidéo et électronique. 

. Deux pièces acousmatiques. 

. Une pièce pour saxophone seul. 

. Une pièce pour saxophone et électronique avec SMI. 

. Une pièce pour saxophone et électronique. 
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Cependant, les créations mentionnées sont de véritables combinaisons variées ayant pour but 
d'obtenir un ensemble de pièces pouvant s'adapter à différentes situations de concert. 

La granularité du son ainsi que les textures denses, rapides et fluides amènent l'auditeur vers des 
paysages organiques et naturels, des paysages qui facilitent une sensation de migration vers un 
état plus énergétique et puissant, positif, voire surnaturel. 

L'idée première est la transposition, en associant le regard parcourant l'espace sensible artificiel 
au parcours visuel d'un tableau comportant de nombreuses textures granulaires, complexes, et 
dotées de couleurs. 

La question posée est la suivante : comment peut-on rendre une évolution à partir d'une image ? 
c'est-à-dire comment introduire du temporel dans un espace a priori fixe? Cette idée est déjà 
développée dans les pièces mentionnées plus haut. Cependant, une continuité est recherchée sur 
les deux pièces dotées d'un SMI lors de leur exécution en concert: 



1 - Installation sonore: cette pièce, d'une durée comprise entre cinq et six minutes, est une 
proposition musicale à mi-chemin entre l'installation sonore et la pièce de concert. Dotée d'une 
caractéristique très particulière qui met en exergue le mélange, la transformation d'un contexte 
sonore à un autre, montre une préoccupation musicale tout à fait personnelle. 

Par exemple, nous avons une proposition musicale proche de l'installation sonore qui se trouve 
adaptée à une situation de concert de musique mixte avec SMI reflète bien cet état de fait. 

Dans cette pièce, l'instrumentiste joue la partition du saxophone baryton tandis qu'une seconde 
personne interagit avec un système de captation visuelle. Le système de captation permet de 
traiter la partie électronique fixe et la partie du saxophone en temps réel en tenant compte des 
mouvements de la tête (Figure B29). D'une certaine manière, le mouvement de la tête simule le 
regard sur un tableau granulaire et coloré. 

Le point de connexion est le geste qui consiste au déplacement local à l'intérieur d'une même 
image. Lors de l'interaction en concert, on choisit de entre une image fixe ou un enregistrement 
vidéo créé à partir de textures granulaires, de nature aquatiques et naturelles réalisées par l'artiste 
visuelle et sonore Azadeh Nilchiani (Figure B30). 
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Face à une image, il est possible de la percevoir de façon générale, globale : dans ce cas, il est 
question de globalité, mais conserve une impression vague. En revanche, la perception peut aussi 
être locale, il est alors possible de s'arrêter sur le détail, notamment sur les différentes parties 
concrètes. Elle peut rendre une texture très claire et localisée, la forme et les couleurs d'une zone 
géographique très précises. 



De cette façon, on appréhender l'image comme un espace, comme un territoire à explorer. C'est 
à partir de l'enchaînement de ces parties très précises et localisées qu'il est possible d'entrer dans 
le domaine de la temporalité. Le tableau devient un espace avec de multiples itinéraires. Le 
contenu visuel est quelque chose que l'on découvre au fur et à mesure que l'on voyage grâce à 
l'image, dont les possibles chemins semblent être infinis. 




Figure B29 : Le saxophoniste et une seconde personne interagissent avec le système de captation 

assigné au mouvement de la tète. 
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Figure B30 : Ci-dessus, sont disposés à gauche l'image fixe et à droite un fragment de la vidéo 
créée par Azadeh Nilchiani pour la pièce installation. 



2 - Saxophone et électronique avec SMI : Peinture Sonore est une pièce électroacoustique pour 
saxophone baryton et électronique avec SMI. D'une durée aussi comprise entre cinq et six 
minutes, cette pièce est très similaire à la version installation. Néanmoins, la partie 
transformation en temps réel de la partie électronique fixe n'existe pas dans cette version. C'est 
une seconde personne, munie d'un clavier-contrôleur MIDI, qui traite en temps réel le son du 
saxophone baryton. Dans le cas présent, la partie électronique fixe n'est pas modifiée. 



- Le SMI: le SMI a été conçu selon un modèle polarisé proche du modèle performance-driven 
Systems, à la réponse changeante et instrumental. 

Et est conçu comme modèle d'interactivité. Les événements sont déclenchés et le feedback entre 
action et perception est peu relevant. 



1 - Installation sonore : le SMI est constitué de deux ordinateurs. Un patch Max/MSP programmé 
par mes soins équipe le premier ordinateur. Le second ordinateur est muni du logiciel développé 
par César Mauri, Facial Mouse (4), d'une interface ADC (Carte son DIGI 002) utilisée comme 
interface MIDI, d'une caméra en réseau (Figure B31) et d'un microphone. Le SMI a pour effet 
de (Figure B32): 
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. Récupérer les données de contrôleur. 
. Capter le son du saxophone baryton grâce au microphone. 
. Relier les deux ordinateurs pour le traitement de informations. 
. Générer la réponse sonore due à l'interaction. 

2 - Saxophone et électronique avec SMI : le SMI est constitué d'un ordinateur avec le patch 
Max/MSP (Figure B33) que nous avons programmé, un clavier-contrôleur MIDI et un 
microphone. Le SMI s'occupe de: 

. Récupérer les données de contrôleur. 

. Capter le son du saxophone baryton grâce au microphone. 

. Générer la réponse sonore dû à l'interaction. 




f-acialMouse 

Facial tracking based mouse e. 

jCR E A Si st eme s . I nf or ma tiçs.fw... 




Figure 3.31: Dans la pièce installation le logicielle Facial Mouse, et ce grâce à la caméra en 
réseau, collecte les données issues des mouvements de la tête de l'utilisateur. 



4. Facial Mouse: logicielle qui permet la captation du mouvement de la tête grâce à une caméra web: (http://www.crca-si.com/cng/rfacial.php i 
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" MAC pour le patch MAXMSP 

-Audio: On charge la bande sonore 
composée, Le patch MAX/MSP 
reçois aussi par entré du microphone 
le son du Saxophone baryton en Mi 
b. 

-MIDI: Reçois l'analyse de couleurs 
de l'image qui provienne du PC, 

-Traitement: Avec la mis en 
correspondance entre la gamme de 
couleurs RGB et le son, on arrive a 
ehanaer timbre du son en ternes réel. 




PC 

-«RATOLI FACIAL» pour la 
captation du geste de la tête et 
sélection des parties de l'image, 

-Patch Framestein I Pure Data 
pour charger la vidéo et l'image 
fixe et analyser les couleurs de la 
partie de l'image sélectionné. Par 
MIDI cette information est 
envoyée au MAC. 



Figure B32 : Fonctions du SMI dans la pièce installation. 
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Figure B33 : L'interface graphique de la pièce permet le chargement de la partie électronique, les 
références concernant le type de synthèse granulaire et la visualisation des valeurs de contrôle du 

moteur. 



- Le système de captation sonore et le système de captation du geste physique du SMI: 

1 - Installation sonore : une caméra en réseau et un microphone. 

2 - Saxophone et électronique avec SMI : un clavier-contrôleur MIDI et un microphone. 



- Le moteur et le son résultant du SMI : dans les deux propositions exposées ici, le travail a été 
porté sur la synthèse granulaire. 

1 - Installation sonore : le son de type soufflé, aérien, auquel sont ajoutés les attaques brèves et 
percussives du jeu du saxophone donne à la partie instrumentale une sonorité très granulaire, 
mélangée à la partie électronique qui elle-même très organique. 



M)0 



La partie électronique est le résultat du traitement en temps réel par synthèse granulaire du son 
du saxophone et de la partie électronique fixe. 

2 - Saxophone et électronique avec SMI : dans cette version la procédure a été identique à celle 
de la version « installation sonore », excepté le fait que la partie électronique, contrairement 
saxophone baryton, n'a pas de traitement en temps réel. Cependant, celle-ci est déclenchée, 
mélangée, superposée au son du saxophone. 



-La mise en correspondance du SMI: 



1 - Installation sonore : un traitement par synthèse granulaire est appliqué à la fois sur le son du 
saxophone baryton et sur la partie fixe électronique. Il est subordonné aux valeurs extraites du 
mouvement de la tête des participants. Quand une personne oriente sa tête vers une partie ou une 
autre de l'image, les variables enregistrées sont assignées, selon une méthode divergente, vers le 
contrôle de paramètres de la synthèse granulaire, de l'enveloppe spectrale et de la réverbération. 



En d'autres termes, l'interaction entre l'image et le son est la couleur. L'utilisateur sélectionne 
certaines parties de l'image en réagissant à un timbre spécifique, c'est-à-dire qu'à chaque 
couleur, un timbre concret y est associé. Il peut dès lors, juste à partir de la couleur, intuitivement 
analyser et changer le timbre du son. 



. La couleur: À chaque couleur une enveloppe spectrale déterminée y est associée. La couleur 
rouge eprésente le son tel qu'il est, avec toute sa richesse spectrale. Et au fur et à mesure que l'on 
se déplace vers des couleurs plus claires, le son devient plus aigu, en quelque sorte gelé (Figure 
B34). 

. Saturation: Elles est représentée par le contrôle des réfractions de la réverbération. 



. Luminescence: Elle est représentée par le contrôle des fréquences de coupure de la 
réverbération. 
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Figure B34 : Echelle de couleurs utilisées. 

2 - Saxophone et électronique avec SMI : le clavier contrôleur-MIDI est l'interface physique qui 
nous permet d'agir par une mise en correspondance unitaire pour certaines variables du moteur 
(Figure B35). 




Figure B35 : Les actions du contrôleur gestuel conditionnent les variables appliquées aux 
paramètres de la synthèse granulaire. 
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- Partition du SMI et ou partition instrumentale : la particularité sonore de cette pièce est, et ce 
dans les deux versions, due à la partition du SMI dont les mises en relation façonnent un espace 
sensible entre geste physique et geste sonore. 

Réalisée grâce à la mise en correspondance entre les contrôleurs et le moteur, la partition du SMI 
évolue en fonction des caractéristiques sonores de la partition du saxophone, et construit ainsi un 
espace organique et bruyant (Figure B36). 



"Peinture Sonore" - baritone saxophone (Mi b) 
Joan Bages i Kiibi - 2007 - Paris 




— ™p 1/ 



Figure B36 : Ci-dessus, la première page de la partition de saxophone alto. L'écriture 
conditionne la partition du SMI. 
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B10 Laberint sonor 

- Contexte de l'oeuvre: commande en 2005 de l'administration de la culture de Tarragone 
(Espagne), Laberint sonor est le fruit d'une collaboration avec le peintre Jaume Rocamora et la 
danseuse Meritxell Peiret, devant être présenté lors du vernissage d'une installation visuelle et 
plastique de Jaume Rocamora à la ville de Tarragone (Espagne). Jaume Rocamora et Meritxell 
Peiret sont deux artistes avec lesquels j'ai eu l'occasion de travailler sur différents projets 
collaboratifs ces dernières années. 

Penser l'art sonore conduit à rechercher des collaborations de cette nature qui sont autant de 
passerelles entre des domaines divers, et par là même permet un élargissement du champ 
professionnel, et ce au-delà du cadre d'une pièce de concert. Cette disposition sert à nourrir la 
réflexion nécessaire autour de cette discipline par nature transversale, car elle convoque d'autres 
pratiques artistiques appartenant à d'autres domaines d'expression. J'ajoute que ces domaines ne 
doivent pas être circonscrit au seul domaine artistique, car ils sont autant de champs d'influence 
nécessaires. 



- Description de l'oeuvre : Laberint sonor est une pièce électronique installation avec SMI. Cette 
pièce peut être envisagé avec deux types de contrôleurs selon le contexte de diffusion, 
notamment s'il s'agit d'un concert ou d'un autre type de spectacle: 

. Un contrôleur, Boule-Wav (1.0), a été conçu, construit et programmé pour se doter d'un 
contrôleur gestuel qui permet, grâce a plusieurs capteurs, de produire une synthèse du son. 

À l'instar de nombreux artistes sonores, la création d'interfaces et autres contrôleurs alternatifs 
est relève de mes centres d'intérêts majeurs. 

Par exemple, le projet Intersections Boule-Wav 2.0. fait clairement appel à une telle démarche. 

. Le contrôleur conçu pour Jaume Rocamora consiste en plusieurs panneaux suspendus au 
plafond et devant être bougés par la danseuse elle-même à l'aide de son propre corps. 
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Quel que soit le contexte, concert ou installation, le même principe anime l'effet interactif. 

Un texte poétique de l'écrivain Andreu Carranza, avec qui j'ai eu l'occasion de travailler plusieurs 
fois, est enregistré lors de la performance, et est en quelque sorte décomposé ; on peut préférer 
l'enregistrer sous forme de fichier audio de manière à pouvoir ensuite le charger à l'aide d'un 
patch sous Pure Data. De cette manière, une forme de composition en temps réel est possible 
grâce à ce type de SMI. En d'autres termes, le SMI, initialement prévu pour fonctionner dans le 
cadre d'une collaboration avec l'écrivain Andreu Carranza peut tout aussi bien être utilisé avec 
n'importe quelle source sonore. 



- Le SMI : le SMI à été conçu à l'image des modèles performance-driven Systems, à la réponse 
changeante-générative et ou modèle d'instrument. Le SMI obéit à un modèle d'interaction. 



La programmation en relation au SMI est réalisée sous Pure Data (Figure B37). Le SMI est 
constitué d'un système comprenant un ordinateur et un outil de captation gestuel (boule dotée de 
capteurs de pression et de rotation), ainsi que des panneaux suspendus, d'une caméra en réseau, 
d'une souris, d'un microphone et d'une pédale. Un boîtier comprenant le circuit électronique 
permet la collecte des données en provenance des capteurs (Figure B38). 
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Figure B37 : Pafc/î Pure Data permettant une visualisation globale des données. 




Figure B38 : Boiter avec le circuit. 
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Dans tous les cas, le SMI a pour finalités la récupération de données 

. Des capteurs de pression et de rotation. 

. De la souris de l'ordinateur. 

. Relatives à la captation du microphone. 

. De la caméra en réseau. 

Et la production: 

. Son résultant de l'interaction et de la décomposition du texte. 



- Le système de captation sonore et le système de captation du geste physique du SMI : nous 
pouvons différencier deux types de système de captation : 

. Boule-Wav (1.0): Boule avec des capteurs de pression et de rotation, caméra web, souris, 
microphone (Figure B39). 
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Web-Cam pour le contrôle de spatialisation du son 



Écran avec fcedback visuel et control 



Souris pour le contrôle dans une 
axe de coordonnées 




Boule pour contrôle des. 
partiels, volume, 

spatialisation 



Microphone pour le contrôle 
de fréquence 

Pédale de contrôle de volume Caisse avec circuit et connexion 

Pied avec table 



Figure B39 : Vue général du SMI avec Boule-Wav (1.0) 
La boule: (Figure B40) 




Figure B40: La boule avec les capteurs à l'intérieur 
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. Les panneaux suspendus : les panneaux suspendus, caméra web, souris, microphone, pédale. 

Panneaux munis de capteurs (Figure B41). La danseuse bouge les panneaux suspendus de 
manière à contrôler certains paramètres de la synthèse sonore, ce qui permet la décomposition du 
texte de l'écrivain. 




Figure: B41 : Interaction de la danseuse avec les panneaux suspendus. 



L'un des capteurs inséré à l'intérieur de la boule, ainsi qu'au niveau de l'accroche du panneau 
(Figure B42). 




Figure B42 : Capteur de pression. 
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- Le moteur et le son résultant du SMI : la principale fonction du moteur est la décomposition en 
partiels du contenu du fichier audio de l'enregistrement du texte, qui doit être lu pendant la 
performance. 

. Analyse et enregistrement du son d'entrée ou stocké. Extraction de la fréquence fondamentale et 
de l'amplitude du son (Figure B43). 




Figure B43: Récupération du signal audio en entrée et enregistrement. 



. Synthèses soustractive par filtre bandpass. 

Le son est enregistré lors de la performance, auquel sont assignés dix filtres indépendants, de 
telle sorte à ce que nous puissions obtenir une texture polyphonique de partiels. 

Chacun des dix filtres a sa propre ligne de retard pour varier l'ordre temporel. À partir du son 
obtenu au moyen des filtres, une nouvelle forme d'onde est créée (Figure B44). 
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Figure B44 : Dix partiels et la nouvelle forme d'onde créée. 



. À partir de cette forme d'onde, la partie périodique est supprimée, en conservant la partie non 
périodique. Par conséquent, le contenu laisse apparaître les éléments bruiteux en conservant 
l'articulation originale. 



On peut jouer avec l'index ou quotient de séparation de la partie périodique de la non périodique 
et procéder à des allez retours entre ces deux états (Figure B45). 
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Figure B45 : Sub-patch qui nous permet de séparer la partie périodique de la partie non 

périodique. 

. Une fois que les parties périodique et non périodique séparées, une nouvelle forme d'onde est 
créée à partir de ce matériel (Figure B46). 




Figure B46 : Nouvelle forme d'onde de la partie non périodique. 
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.Variation de vitesse de lecture et variation de changement de fréquence de la nouvelle forme 
obtenue. L'effet granulaire est obtenu avec des lignes de retard et des effets de réverbération 
(Figure B47). 
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Figure B47 : Variation de vitesse de lecture et variation de changement de fréquence. 



Le son obtenu est une masse sonore de texture électronique qui reste à la frange, aux limites des 
possibilités de reconnaissance du texte poétique originel. Il s'agit de transmettre un espace 
sonore électrique, avec une articulation très brute et granulaire, qui conduit à des formes et des 
sonorités naturelles ou organiques. 



- La mise en correspondance du SMI : la pression des doigts sur la boule, équipée de capteurs de 
pression et de rotation, ou encore le mouvement de la danseuse sur les panneaux nous permettent 
de sélectionner et d'intervenir sur les partiels. En situation de concert, si la boule est utilisée 
plutôt que les panneaux, une pédale sera nécessaire pour contrôler le volume général. 
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La caméra en réseau nous sert à varier la vitesse de lecture des fichiers audio. Le moteur du 
patch offre un accès à plusieurs types de contrôle de la synthèse du son ; un travaille a donc été 
centré sur une misse en correspondance divergente permettant ainsi d'associer chaque valeurs de 
contrôle gestuel à d'autres valeurs de contrôle de la synthèse. 



- Partition du SMI et/ou partition instrumentale : les possibilités d'articulations sonores et 
musicales, offertes par ce SMI, engendrent une partition de type ouvert, nous conduisant vers 
une musicalité proche de l'improvisation musicale (cf le système proposé pour « Laberint 
sonor »). Le système, lui-même, propose une façon précise d'articuler les sons dans le temps, 
donnant ainsi à la pièce sa spécificité. 
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C. DVD 1 

1 - Support audio - mes travaux sonores et musicales avec les SMI : 

1 - Arc en ciel 

2 - Atomizaciôn Electrônica 

3 - Càlida Construcciô 1.0 

4 - Deux Poissons Japonais Acousmatiques 

5 - l'Heure Bleue 

6 - Intersections Boule Wav 2.0 

7 - Interzone 

8 - La chambre noir 

9 - Le tailleur de temps dans l'interzone 

10 - Mâs de Mil Ojos nos vigilan 

1 1 - OverEspacesCheminsPrinted 

12 - Peinture Sonore (Saxophone et électronique — SMI) 

13 - Peintures Sonores Musica Gêner ativa 

14 - Peintures Sonores Espectacle Interactiu Dramàtic 

15 - Tôt Pixelant 

16- WetbackPD 

17- WhiteMusic 
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2 - Support video de mes travaux sonores et musicales avec les SMI : (avec reproducteur 
multimédia VLC) 

1 - Aquifere 

2 - Die eingefangene geste 

3 — Dones d'aigua 

4 - Eléments de Conducta i Transport 1.0 

5 - Espaces Chemins à l 'intérieur d'un carré 

6 - Interactive Laberintus 
1 - Laberintl - Laberintl 

8 - La Voix d'Ulysse 

9 - Transducciôn Electrônica 

10 - Transductions mixtes 

3 - Partitions instrumentales de nos ouvres avec Systèmes Musicaux Interactifs 

1 - De los hadrones a la consciencia 

2 — Interzone 

3 - Le tailleur de temps dans l'Interzone 

4 - Mis de mil ojos nos vigilan 



4 - Échantillons sonores classés par ordre d'apparition dans la partition (Le Tailleur de 
Temps dans l'Interzone). 



5 - Échantillons sonores classés par ordre d'apparition dans la partition (Interzone). 
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D. DVD 2 

1 - Support audio du projet EMSTI : 

1 - Sons groupe 1 et groupe 2 

2 - Sons groupe 3 

3 - Sons groupe 4 

4 - Patch Sati2008 

2 - Support video du projet EMSTI : (avec reproducteur multimédia VLC) 

1 - EMSTi-TV 

2 - EMSTI-video-sans-audio 

3 - EMSTI-video-sans-audio2 

4 - Image-To- Sound 1 

5 - Image-To- Sound2 

6 - Image-To- Sound3 

7 - Image-To-Sound4/Sound-To-Sound3 

8 - Image-To-Sound5/Sound-To-Sound2 

9 - Sound-To-Soundl 
10-Maracas 1 

1 1 - Maracas 2 

12 - Cube 1 
13 -Cube 2 
14 - Cube 3 
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3 -Article du projet EMSTI 

Interactive Therapeutic Mulli-sensory Environment for 
Cérébral Palsy People 



César Mann , Agusti Solanas , Toni (jrïuiollerg , Jean Bagês , 
and Mabel Garcia 4 
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Abstract. We présent the foundations of the ITSE (Interactive Therapeutic Sensory Environment) research project that offers 
new opportunities on stimulation, interaction and interactive création for people with moderate and severe mental and physical 
disabilities (e.g. people with cérébral palsy). Mainly based on computer vision techniques, the ITSE project allows the gathering 
of users 1 gestures and their transformation into images, sounds and vibrations. It can be used as a standalone application in 
individual sessions or, as an accessible musical instrument for music therapy sessions. The project was born in the Cérébral Palsy 
Centre of Tarragona (Spain) motivated by the low rate of users able to interact with computers. Although several assistive 
technology gadgets (e.g. key-guards, joysticks, switches, mouse emulators, etc.) and spécial software applications (e.g. cause- 
effect and educational activities, simple navigation environments, etc.) were used, most users "simply" didn't understand the 
interaction mechanisms. We believed that a high interactive activity (reinforced with sounds and images closely related with the 
gestures) would be more accessible to most users in spite of their sensory, motor and cognitive impairments. Currently we are 
working in a first prototype that is capable to generate sounds based on the user's motion and digitally process the user's vocal 
sound adding effects such as écho or réverbération. Tests with impaired users show that ITSE promûtes participation, engagement 
and play. In this paper we explain the expérimental methodology, the tools used and developed, the users' profiles and the first 
results and conclusions. Future goals include testing and developing the most appropriate machine vision interaction techniques, 
sound and image génération engines and, also to develop and apply an analysis methodology to show and improve the 
effectiveness of the System. 

Keywords: Cérébral Palsy, Human-Computer Interaction, Elderly, Disabled People, Artificial Vision 



1 Introduction 

This article présents the Interactive Therapeutic Sensory Environment (ITSE) Project. Its main 
aim is to investigate, develop and apply a System that is able to analyze the movements and 
sounds of users (e.g. by means of artificial vision and microphones) and transform them into 
images, sounds and vibrations. By doing so, the System créâtes an adaptive sensitive space 
characterized by the absence of fixed constants and rules to be followed. 

Our goal is to turn the System into a tool that allows users to explore, express, play and enjoy. 
Moreover, by means of thèse activities, users may develop capabilities - sometimes 
unconsciously- such as participation, communication or creativity and, thus, it will lead to an 
improvement of their quality of live. 

The project focuses on people with cérébral palsy but we believe that it could also benefit other 
people with cognitive disabilities (e.g. autism, Down syndrome, mental retardation, elderly, and 
so on). In addition, the System can be used as a learning tool for people without spécial cognitive 
needs. 
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The rest of the article is organized as follows: In Section 2 we summarize some projects and 
articles related to the interaction with disabled people. Section 3 is devoted to the ITSE project 
and considers many of its aspects from the description of the System to the définition of user's 
profiles. Sections 4 and 5 provide some final conclusions and future research lines. 



2 State of the art 

In the following sections we summarize some relevant projects and Systems that aim at 
improving the interaction of disabled people. 



2.1 The Soundbeam System 

In the early 90s, Phil Ellis started to use the so-called sound therapy with Soundbeam 1 on children with cérébral 
palsy, autism and profound and multiple learning disabilities (PMLD). Sound therapy combines the power of new 
technologies with an aesthetic response to sound. This can encourage the users interaction and the development of 
their communieative skills. Generally a non-interventionist (or minimally interventionist) approaeh is used [7]. 
Since 1998 Ellis has made the sound therapy to evolve to the so-called vibroacoustic sound therapy (VAST) and has 
experimented with elderly [8, 9]. VAST therapy includes using a microphone and vibratory devices. A vibroacoustic 
device is used to reinforce the sounds created by means of Soundbeam or a microphone. Also, VAST therapy 
improves users' relaxation at the end of the sessions, thus, promoting a gênerai sensé of mental and physical well- 
being. Since 2004 Ellis, from the iMUSE (interactive Multy-Sensory Environment) research centre in the 
Sunderland University (UK), focuses his work on the elderly and includes images in the feedback that users receive. 
By using multi-sensory intégration they focus attention through immersion and unlock creativity through unusual 
yet intuitive perception-action couplings [10]. 

2.2 Soundscapes 

Soundscapes [2] refers to a body function capture library and also a collection of software able to 
generate a response from the gesture. One of the uses of Soundscapes is as an "expression 
amplifier" for people with disabilities. It allows users to generate images and sounds from body 
motion. The main idea is to create a virtual interactive space (VIS) in which users like to be and 
their motivation and creativity are promoted through play and fun. The therapeutically use of 
Soundscapes was exemplified in several European projects like Twi-aysi ( The world is - as you 
see it) [14] and CAREHERE (Creating Aesthetically Résonant Environments for the 
Handicapped, Elderly and REhabilitation) [3, 13]. 

2.3 MEDIATE and other projects 

The Médiate project [24] is a multi-sensory installation whose main goal is to let children with 
autism to hâve fun, play, explore and create in a controlled and secure environment. The Médiate 
project carried out psychological studies and provided parents with an environment where they 
could see their children playing. In the literature it can be found a number of similar Systems like 
Intellivision [4] and others using machine vision techniques to create accessible musical 
instruments, for instance Virtual Music Instrument (VMI) [18, 17] or Adaptive Use Musical 
Instruments [23]. The ITSE project, like the projects described above, has their roots in the 
Interactive Music Systems (IMS). 



The Soundbeam System uses an ultrasound sensor able to measure the distance to the closest obstacle. 
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By définition, an IMS [16] satisfies that: it is computer based, it is interactive enough to affect 
and modify the performer(s) actions thus provoking an ongoing dialog between the performer(s) 
and the computer System and, generate a musical output at performance time. 



3 The ITSE project 

In the following sections, some aspects of the ITSE project are described. In Section 3.1 we 
define the goals of the project. Section 3.2 is a brief description of the technical aspects of the 
project. Section 3.3 explains how the users of the System are classified and why. Section 3.4 is 
devoted to the description of the project sessions. Section 3.5 comments on the methodology of 
analysis and Section 3.6 points out some preliminary results. 



3.1 Goals 

If we were able to foster the participation of people with severe mental disabilities -that normally remain passive- 
this would lead to a séries of reactions that will favor their development. Thèse people are usually withdrawn and 
their little communication abilities isolate them from their surroundings. Providing them with a channel that permits 
them to effectively communicate, express feelings, and even create will contribute to the improvement of their 
quality of life. 

To cope with this task it is necessary to hâve the right tools providing this multimodal interaction in an efficient, 
simple, and economical way. Based on our expérience [20, 19, 12, 11], we believe that artificial vision techniques 
using low cost devices (web cams) can play a very important rôle due to their versatility. 

3.2 System description 

The ITSE System consists of two modules of software: one captures the users' gesture while the other générâtes 
sounds and images. 

I I I llll llllll I IM 

File Options Help 




Figure 1: Screenshot of the motion capture System 

Module 1 of gesture capture 

Motions capture System. It is an application that captures and processes in real time a video signal (see figure 1). 

From this signal a séries of parameters can be extracted: 

Direction and quantity of movement in a spécifie area: It allows selecting the area for the extraction of voluntary 

movement (e.g. the head, an arm, a foot, etc.) and, due to the high sensitivity of the procédure, it is especially 

indicated for people with very restricted movements. 

Position of a color marker: A color mark - like a glove or a sticker- is placed on the participant (normally in an 

upper limb). It is indicated for rough movements. 
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Index of global activity: It allows extracting the amount of activity (movements) in the capture frame. It is useful to 
users that base their interaction on the movement of ail their body. 

Sounds capture System. Is based on an application programmed with MAX/MSP that uses a microphone to obtain 

the signal coming from différent sources, either voices or other sounds. The object "analyzer-" included in the patch 

(Figure 2) allows us to obtain a detailed description of the sound. We use this information to feed a controller that 

manages a set of engine parameters used to generate sound. From the analysis of the input signal a séries of 

parameters can be extracted: 

The waveform 

Spectrogram and sonogram 

Sound amplitude 

Frequency and corresponding MIDI note 

Brightness of the sound 

Attacks 




Figure 2: Patch Max/MSP to analyze the input signal 



Audiovisual génération module 

The audiovisual génération module is based on an application programmed with MAX/MSP that 
processes the information of the capture System and générâtes images and sounds. The 
communication between the capture modules and the audiovisual génération module uses the 
MIDI protocol, which is frequently used by musicians and allows the communication between 
programs in a simple way. 
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Figure 3: Patch MAX/MSP that analyzes the gestures and sound inputs of the user and transforms them into 
modified sounds 



The audio engine is organized in several sub-modules: 

Loading sub-module. This module reads sound files (e.g. songs) and abstract textures files (e.g. random noise), and 

loads them into memory. 

Mapping between gesture and generated sound 

The position of the user in a virtual space controls the reading speed of a sound file. 

User's voice pitch produces pitch changes and introduces echoes in the played sound. 

Real-time voice processing sub-module. This module distorts voices or other sounds. Several digital audio effects 

are used: réverbération, chorus and flanger, pitch shift, filter and écho 

Sound synthesis sub-module: Controls the timbers. 

Virtual instruments sub-module: it plays a virtual instrument from an existent score or generated with a MAX/MSP 

patch. 

Virtual Instrument sub-module: 

The position of the user in a virtual space exécutes the notes of the score and générâtes the transposition of the 

pitches. 

The speed of movement controls the amplitude of the sound of the virtual instrument. 

Sound visualization sub-module. This module is still under construction. The tests that we hâve carried out consist 

on the visualization of textures and abstract figures that move according to some sound parameters such as the 

amplitude. We use the R4 viewer (see Figure 4). 




Figure 4: R4 viewer 
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3.3 User's profile 

To be able to carry out this project, and due to our limited human resources and time, we are grouping the users into 
three blocks, and from each one we choose between three and four users to hâve the best représentation of the 
collective and thus test the viability of the System in an efficient and real way. The groups are defined as follows: 

Group A. Users with sufficient intellectual capacity to understand the activity's mechanics, and that 
consciously and voluntarily respond to the orders given. The goal goes beyond the child just interacting, it is a 
question of obtaining a development in the artistic productions that they make with the System. 

Group B. Users with less intellectual capacity than the previous group, but good enough to observe and answer. 
Thèse are the ones that probably do not comprehend, or the mechanics of the activity is very difficult or they forget 
its mechanics between sessions. The main goal is for them to begin to comprehend and enjoy their own productions 
like those in group A. 

Group C. Users with a low intellectual level and a relational capacity with a more limited environment than the 
previous groups, and whose answers to the System is observable with difficulty. 

3.4 Session developments 

The sessions last approximately between 15 and 30 minutes including préparation, participants entry and exit, note 
takings, and a final interview with the facilitator. Normally, they come together in a work block, using the module 
for sound treatment in real time and another block with the virtual instruments module except for spécial features 
that are stipulated before hand. 



Thereafter, the facilitator is interviewed, where the first impressions are reflected after finishing the activity. This 
usually does not take more than 10 minutes. In ail cases, intervening will be kept to a minimum, with the facilitator 
only helping the user when it is time to begin the activity. 

3.5 Analysis methodology 

The analysis of the sessions is mainly done through the records (videos, sound, etc.) obtained and with the help of 
video note taking tools 2 . To begin with, we are interested in studying the immédiate effects that the use of the System 
produces, although it is important to confirm the long-term effects that are produced, even though it will not be 
possible to strictly attribute them to the use of the System. 

The variables that are taken into account in the sessions are (among others): attention type (i.e. scattered, focused, 
etc.), attention duration (i.e. minutes, seconds, etc.), satisfaction, inhibition (voluntary or induced), connectivity with 
the task, etc. 

The facilitator that knows and can better understand the user's answers perforais the analysis of each video. To try to 
establish and to support, as far as possible, a common évaluation criterion, a consensus is established during the first 
sessions, and regular control meetings to support the above-mentioned consensus are scheduled. 

3.6 Preliminary Results 

After almost a year of expérimentation and development of the ITSE project, we can state that it has shown itself as 
a very useful tool for most of the users who test it. 

At a pédagogie level, it contributes to give continuity to the intégral work that is carried out in the rest of the areas, 
like attention, perception, communicative intention or relaxation and muscular control. 

From a therapeutic point of view, it helps the users to develop their expressiveness, their connexion with the most 
immédiate environment, their imagination, the pleasure of realizing their own expressions and listening themselves. 
Furthermore, in some cases, it helps them to realize their own desires and fantasies related with playing an 
instrument (e.g. a guitar) which would hâve been impossible otherwise, due to their physical limitations. 
Last but not least, at a playful level, it offers tools for the cérébral palsy affected people that let them learn, play and 
hâve fun at the same time. 



We use Anvil in the SATI project, http://www.anvil-software.de 
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4 Conclusions 

The research Une présentée in this article is a challenge. Working with people suffering from severe and multiple 
disabilities is not straightforward: we can rarely count on their coopération; it is very complex to establish 
communication (if any) with them; due to their délicate state of health we hâve to pay a spécial attention to the 
appearance of crises and; generally, users cannot express their feelings clearly (e.g. by filling in a questionnaire). 
Moreover, results cannot always be generalized due to the reduced number and heterogeneity of thèse users. 

Many différent disciplines interweave: music, visual art, computer science, psychology, spécial éducation and 
physiotherapy. Due to this interdisciplinary environment a high degree of coordination is required amongst experts 
from very différent areas that generally talk in différent technical languages. Thus, there is a need for a tool that 
allows us to assess the results and obtain conclusions. Psychologists and users' relatives that help in confirming the 
hypothesis of the experts generally perform this assessment of the results. 

Currently, we are testing a prototype of the System that générâtes sounds as a resuit of the images captured by a 
webcam. We hâve been working with this System for more than a year and we plan to add visual and tactile outputs 
to the System in the near future. 



5 Future works 

We plan to go ahead with a number of tasks in the near future. 

To elaborate tools or méthodologies in order to improve the characterization of the participants. That way would be 
easier to link some observations with the particularities of a users group and to contribute, therefore, to the 
generalization of the results. Specifically, we will try to model the users profiles by means of the use of ontologies. 

To establish analysis méthodologies of the System effects and to relate them to the profile of a concrète user. Also it 

would be interesting to involve other participants in the analysis process (for example, relatives or tutors) or to 

develop automatic technologies of analysis. 

To move towards more autonomous and usable Systems for the professionals. It is necessary to dérive computer 

applications from the developed prototypes that could be easily run by the people who will work with thèse Systems 

(teachers, keepers, occupational therapists, musical therapists, parents, etc.) so that they could do an effective use of 

them. Actually, as our expérience shows, there are several technological proposais for the spécial éducative needs 

people, but most of them are not used "only" because they are not simple enough. 

To go towards adaptive Systems so that they could be able to learn what kind of proposais are more attractive for the 

user in function of the produced interaction. 

To extend the offer of the audio-visual engine with such éléments as graphical interactive scores, sound 

visualization, interactive painting application, etc. 
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